El secreto de ChatGPT: ¿cómo funciona? ¿Por qué entiende el lenguaje natural?

ChatGPT y el procesamiento del Lenguaje Natural

ChatGPT es un gran modelo de lenguaje (large language model LLM) diseñado bajo la arquitectura de redes neuronales Transformers. Por esto sus siglas son Generative Pre-Trained Transformer GPT.

Cuando hablamos de modelo nos referimos a un programa o algoritmo que se diseña para recrear el comportamiento o mecanismo real, con el fin de comprender cómo funciona  o para predecir lo que puede suceder. 

ChatGPT es un modelo que predice palabras, pero no en el sentido tradicional. Básicamente, lo que hace es tomar en cuenta el contexto general para generar la continuación del texto que sea más relevante y coherente.

En primer lugar debemos entender que es un modelo que procesa el lenguaje natural, es decir, que interactúa con los usuarios de la misma forma en la que tú te comunicas con las demás personas. 

Por ejemplo, a un amigo le puedes decir:

“ Oye, te parece si me puedes entregar un resumen del legado de la civilización romana, pero incluye sólo la herencia que pervive en la actualidad, ¿eh?. Aunque, mejor no. Sólo incluye el legado que nos dejaron en las artes “. 

Esta petición está realizada en lenguaje natural. A ChatGPT le puedes decir exactamente lo mismo y te responderá con precisión. Pero, aunque cueste creerlo, ChatGPT no está entendiendo el lenguaje, no comprende el significado de las palabras. Veamos el porqué.

Lenguaje Natural Vs Lenguaje de máquina

Un ordenador es incapaz de entender qué significado poseen nuestras palabras. Por ejemplo, si decimos “ mar”, sabes que es un inmenso cuerpo de agua salada que se funde con el horizonte, lo asocias con el sonido del oleaje y recuerdas su olor característico. Pero un ordenador no entiende nada de esto, sólo entiende el sistema binario.

• Los seres humanos hemos establecido el sistema de numeración decimal para representar nuestros datos numéricos. Es un sistema que se compone de 10 símbolos: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 (números arábigos). Para seguir contando más allá del 9, debemos combinar los dígitos.
• Los ordenadores sólo entienden números. Su lenguaje es el sistema binario, que se compone de 2 símbolos: 0 y 1. Dígitos que se combinan sistemáticamente para representar datos. Por lo tanto, para los ordenadores, el texto, las imágenes, el audio, vídeo, etc., son sólo números.

Por ejemplo: 

        – «ChatGPT» en código binario es :  

•  
  •  
    •  01000011 01101000 01100001 01110100 01000111 01010000 01010100

       – «Gato» en código binario es:  

•  
  •  
    • 01000111 01100001 01110100 01101111 

¿Cómo procesa los datos ChatGPT?

Como mencionamos, ChatGPT es un descendiente directo de GPT-3. Exactamente, ChatGPT es una variante de GPT-3, más rápida, más entrenada y más eficiente. Está especialmente diseñado para proporcionar un servicio de chatbot. 

ChatGPT es un modelo de redes neuronales con arquitectura Transformer (Generative Pre-Trained Transformer GPT) que fue sometido a entrenamiento para aprender a detectar los patrones que le permiten comprender el lenguaje del usuario y luego responder. 

Este entrenamiento comienza con la alimentación de texto de diversas fuentes (páginas de internet, bibliotecas, Wikipedia, etc.). Es un universo de información y de estilos lingüísticos. 

Veamos cómo procesa ChatGPT toda esta información: 

Tokenización

Todo el texto de entrada es “tokenizado”, es decir, es dividido en fragmentos o unidades muy pequeñas que se denominan tokens. 

Un token puede ser una palabra o un fragmento de alguna palabra.  Por ejemplo, en la imagen se observa un trozo de texto de 30 palabras que posee 37 tokens que se diferencian con colores.

Así, el modelo almacena cada palabra bajo un número. Pero sigue sin saber qué significan. 

Debemos tener presente que este proceso de tokenización no se realiza en código binario. Es después del proceso de entrenamiento que toda la información se almacena en este sistema. De esta forma, el modelo podrá procesar los datos para generar respuesta para los usuarios.

Embedding 

Embedding es el proceso o técnica en la cada token se transforma en un vector numérico denso. Esto implica utilizar incrustaciones para establecer las relaciones entre palabras, según el contexto y la semántica. Todo esto es lo que permite al modelo comprender la información. 

¿Qué quiere decir esto?

Significa que, para lograr entender qué es « mar«, qué es “ rosa«, o cualquier término, el modelo establece etiquetas en los tokens para conocer qué palabras están relacionadas con otras. Puedes imaginarte como pequeñas marcas que se ponen en un token al detectarse que es similar a otro o que comparte características comunes con otros tokens.

Por ejemplo, en las tres oraciones siguientes puede detectarse que la “rosa” suele aparecer con el término “la”.

• La rosa es una de las flores más llamativas.
• Los pétalos de la rosa se utilizan en la gastronomía.
• ¡Qué hermosa es la rosa azul!   

Además, pueden detectarse atributos comunes, por ejemplo: 

• “perro”, “gato”, “delfín” y “humano” tienen atributos comunes, son mamíferos, vivíparos y poseen pulmones. 
• Pero sólo el ser humano puede hablar. 
• Mientras que el ser humano, el perro y el gato pueden caminar. 

Veamos toda esta relación de manera gráfica:

Por supuesto, los tokens tienen miles de marcadores comunes.  Es como si cada término tuviera su propia estructura interna, como un código ADN que describe con qué otros términos está relacionado. 

Lematización

Adicionalmente, para trabajar más rápido, el modelo simplifica aún más todo el texto de entrada y elimina aquellos términos (palabras vacías) que no aportan mucha información, como los pronombres o los artículos. Bueno, lo que hace es simplificar las secuencias de tokens, algo parecido a comprimir las frases. 

Por ejemplo,

• La frase: “ los pétalos de la rosa se utilizan en la gastronomía” .
• Se puede simplificar y obtenemos: “ pétalo rosa utiliza gastronomía”

Después, se lleva a cabo la lematización para transformar palabras flexionadas (conjugadas, en plural o en femenino) a su forma base (lema). Por ejemplo, «corriendo» en «correr». De esa manera se agrupan términos con un lema en común.

Siguiendo con el ejemplo, la lematización de la frase sería: “ pétalo rosa utilizar gastronomía”

También se realizan otras técnicas para simplificar las palabras, como reducirlas a su raíz.

Otro ejemplo, si tenemos la frase:

• La ardilla se pasea en el árbol
• Se simplifica en: ardilla pasea árbol.
• Se lleva a cabo la lematización: ardilla pasear árbol

Atención

La arquitectura Transformer le otorga al modelo la capacidad de decidir qué tokens dentro de la secuencia son más importantes para comprender el contexto. 

Exactamente, con base en los vectores del embedding, el modelo hace una revisión de los términos que aparecen en las frases. Así detecta cuál es la relación y decide cuáles son los más importantes.

Este mecanismo de atención sirve, principalmente, para que el modelo pueda alimentarse  de un gran volumen de información y entender el contexto.

Gracias al mecanismo de atención, el modelo puede comprender a qué se refiere cada término en relación a los otros que le acompañan en un texto en específico y según el contexto en el que se encuentran. 

Veamos los siguientes ejemplos: 

• Frase 1. La jarra sobre la mesa echa agua al vaso hasta que se llena .
• Frase 2. La jarra sobre la mesa echa agua al vaso hasta que se vacía .

En la frase 1, el modelo entiende que el término “ se” se refiere al vaso. Sabe que el que se llena en ese momento es el vaso, no la jarra.

En la frase 2, el modelo entiende que el término “ se” se refiere a la jarra. Sabe que la que se vacía en ese momento es la jarra , no el vaso.

El truco de ChatGPT para responder

Buscar en el sistema de embedding es el truco de la gran capacidad de ChatGPT para responder. 

Cada vez que le haces una pregunta o le escribes una instrucción a ChatGPT, lo que hace este modelo es consultar en su sistema de embedding. Sí, en esa nube de relaciones entre tokens que se formó a través de marcadores comunes. 

Pero, recuerda que allí las secuencias de tokens estaban comprimidas. Por lo tanto, el modelo de ChatGPT extrae los tokens más cercanos y los convierte en frases que sean aceptables y entendibles por el ser humano, utilizando para ello las reglas lingüísticas. 

Es decir que, el modelo realiza un proceso de reconstrucción de las frases para poder responder. Pero lo hace teniendo en cuenta sólo las relaciones que ha establecido entre palabras. 

Realmente, ChatGPT no recuerda la información de las frases originales que provienen de los textos con los que fue entrenado. Así que lo que responde a los usuarios es contenido escrito completamente nuevo.

Además, ChatGPT tiene creatividad propia.

Sampling 

¿Has notado que puedes realizarle a ChatGPT la misma consulta, una y otra vez, y siempre arroja una respuesta diferente? Esto sucede porque su modelo utiliza elementos aleatorios en su proceso de toma de decisiones. 

Cuando impartes la instrucción (prompt) a ChatGPT, el modelo realiza la consulta en su sistema de embedding. Pero al realizar la selección de tokens, los elementos aleatorios le permiten al modelo moverse ligeramente en otras direcciones, hacia otras frases, pero manteniendo la coherencia del contexto.

ChatGPT está completamente diseñado para una comunicación efectiva y eficiente con los usuarios, lo que simplifica la forma de escribir las consultas. Además, puede aprender de las conversaciones y, con el tiempo, volverse más inteligente.

¿Qué te ha parecido? Déjanos tu comentario y cuéntanos tu experiencia con ChatGPT.