El secreto de ChatGPT: ¿cómo funciona? ¿Por qué entiende el lenguaje natural?

Fuente propia

Por supuesto, los tokens tienen miles de marcadores comunes.  Es como si cada término tuviera su propia estructura interna, como un código ADN que describe con qué otros términos está relacionado. 

Lematización

Adicionalmente, para trabajar más rápido, el modelo simplifica aún más todo el texto de entrada y elimina aquellos términos (palabras vacías) que no aportan mucha información, como los pronombres o los artículos. Bueno, lo que hace es simplificar las secuencias de tokens, algo parecido a comprimir las frases. 

Por ejemplo,

• La frase: “ los pétalos de la rosa se utilizan en la gastronomía” .
• Se puede simplificar y obtenemos: “ pétalo rosa utiliza gastronomía”

Después, se lleva a cabo la lematización para transformar palabras flexionadas (conjugadas, en plural o en femenino) a su forma base (lema). Por ejemplo, «corriendo» en «correr». De esa manera se agrupan términos con un lema en común.

Siguiendo con el ejemplo, la lematización de la frase sería: “ pétalo rosa utilizar gastronomía”

También se realizan otras técnicas para simplificar las palabras, como reducirlas a su raíz.

Otro ejemplo, si tenemos la frase:

• La ardilla se pasea en el árbol
• Se simplifica en: ardilla pasea árbol.
• Se lleva a cabo la lematización: ardilla pasear árbol

Atención

La arquitectura Transformer le otorga al modelo la capacidad de decidir qué tokens dentro de la secuencia son más importantes para comprender el contexto. 

Exactamente, con base en los vectores del embedding, el modelo hace una revisión de los términos que aparecen en las frases. Así detecta cuál es la relación y decide cuáles son los más importantes.

Este mecanismo de atención sirve, principalmente, para que el modelo pueda alimentarse  de un gran volumen de información y entender el contexto.

Gracias al mecanismo de atención, el modelo puede comprender a qué se refiere cada término en relación a los otros que le acompañan en un texto en específico y según el contexto en el que se encuentran. 

Veamos los siguientes ejemplos: 

• Frase 1. La jarra sobre la mesa echa agua al vaso hasta que se llena .
• Frase 2. La jarra sobre la mesa echa agua al vaso hasta que se vacía .

En la frase 1, el modelo entiende que el término “ se” se refiere al vaso. Sabe que el que se llena en ese momento es el vaso, no la jarra.

En la frase 2, el modelo entiende que el término “ se” se refiere a la jarra. Sabe que la que se vacía en ese momento es la jarra , no el vaso.

El truco de ChatGPT para responder

Buscar en el sistema de embedding es el truco de la gran capacidad de ChatGPT para responder. 

Cada vez que le haces una pregunta o le escribes una instrucción a ChatGPT, lo que hace este modelo es consultar en su sistema de embedding. Sí, en esa nube de relaciones entre tokens que se formó a través de marcadores comunes. 

Pero, recuerda que allí las secuencias de tokens estaban comprimidas. Por lo tanto, el modelo de ChatGPT extrae los tokens más cercanos y los convierte en frases que sean aceptables y entendibles por el ser humano, utilizando para ello las reglas lingüísticas. 

Es decir que, el modelo realiza un proceso de reconstrucción de las frases para poder responder. Pero lo hace teniendo en cuenta sólo las relaciones que ha establecido entre palabras. 

Realmente, ChatGPT no recuerda la información de las frases originales que provienen de los textos con los que fue entrenado. Así que lo que responde a los usuarios es contenido escrito completamente nuevo.

Además, ChatGPT tiene creatividad propia.

Sampling 

¿Has notado que puedes realizarle a ChatGPT la misma consulta, una y otra vez, y siempre arroja una respuesta diferente? Esto sucede porque su modelo utiliza elementos aleatorios en su proceso de toma de decisiones. 

Cuando impartes la instrucción (prompt) a ChatGPT, el modelo realiza la consulta en su sistema de embedding. Pero al realizar la selección de tokens, los elementos aleatorios le permiten al modelo moverse ligeramente en otras direcciones, hacia otras frases, pero manteniendo la coherencia del contexto.

ChatGPT está completamente diseñado para una comunicación efectiva y eficiente con los usuarios, lo que simplifica la forma de escribir las consultas. Además, puede aprender de las conversaciones y, con el tiempo, volverse más inteligente.