¿Te has preguntado alguna vez cómo entienden el texto las inteligencias artificiales como ChatGPT? La respuesta está en algo llamado «tokens», que son las piezas básicas con las que estos sistemas procesan el lenguaje. Imagina que son como las letras del alfabeto o las piezas de un rompecabezas que la IA usa para entender y crear texto.
¿Qué es exactamente un token?
Un token puede ser una letra, una palabra completa o incluso parte de una palabra. Por ejemplo, cuando escribes «¡Me encanta aprender!» la IA lo divide en pequeñas piezas para poder procesarlo mejor. La palabra «aprender» podría dividirse en «aprend» y «er», y cada una de estas partes sería un token.
¿Por qué no usar simplemente palabras completas?
La razón es bastante práctica. Imagina que tuvieras que memorizar todas las palabras posibles en todos los idiomas – ¡sería una tarea imposible! Por eso las IAs utilizan tokens, que son como bloques de construcción que se pueden combinar de diferentes formas para crear cualquier palabra. Esto tiene varias ventajas:
- Es como tener un set de LEGO: con pocas piezas puedes construir muchas cosas diferentes
- Permite entender palabras nuevas aunque nunca las haya visto antes
- Funciona bien con diferentes idiomas al mismo tiempo
- Ahorra espacio y hace que la IA funcione más rápido
- Ayuda a entender mejor cómo se forman las palabras (por ejemplo, cómo «cocinar» se relaciona con «cocinando»)
¿Cuántos tokens puede manejar una IA?
Los modelos más modernos, como GPT-4, pueden manejar hasta 128,000 tokens de una vez, lo que equivale aproximadamente a un libro corto. Otros modelos más antiguos o más pequeños manejan menos, algo así como 16,000 tokens (aproximadamente 12 páginas de texto).
¿Cómo se dividen las palabras en tokens?
Existen diferentes formas de dividir el texto en tokens, como si fueran diferentes recetas para cortar un pastel. Algunas formas populares son:
- El método BPE, que busca patrones comunes en el texto
- WordPiece, que es especialmente bueno para entender cómo se forman las palabras
- SentencePiece, que es muy útil cuando trabajamos con varios idiomas a la vez
Lo interesante es que cada método tiene sus ventajas según el tipo de texto o el idioma que estemos usando, igual que diferentes herramientas son mejores para diferentes trabajos.
¿Por qué es importante entender esto?
Entender cómo funcionan los tokens nos ayuda a comprender mejor las capacidades y limitaciones de las IAs. Por ejemplo, cuando usas ChatGPT y te dice que tiene un límite de tokens, ahora sabes que se refiere a cuántas «piezas» de texto puede procesar de una vez.
También explica por qué estas IAs son tan buenas entendiendo el lenguaje: pueden descomponer cualquier texto en pequeñas piezas manejables y entender cómo estas piezas se relacionan entre sí, igual que nosotros entendemos cómo las letras forman palabras y las palabras forman oraciones.
