LLM Internals
Tokenizador BPE: cómo se fusionan los pares y por qué el token no es palabra
Aprende cómo el tokenizador BPE construye su vocabulario fusionando pares de caracteres frecuentes, con un ejemplo numérico y su impacto en el conteo y el coste.
Leer la guía