LLM Internals
BPE分词原理:中文例子手算合并过程与压缩率
用中文小词表一步步手算BPE字符合并过程,记录每次合并日志并计算压缩率,再用Token Counter工具验证分词结果,理解BPE分词原理与中文场景的特殊性。
阅读指南
指南
介于课程与文档之间的深度文章：每篇只讲一个你真正要做的决定，并把取舍讲清楚。
介于课程与文档之间的深度文章：每篇只讲一个你真正要做的决定，并把取舍讲清楚。
用中文小词表一步步手算BPE字符合并过程,记录每次合并日志并计算压缩率,再用Token Counter工具验证分词结果,理解BPE分词原理与中文场景的特殊性。
阅读指南