miércoles, octubre 9, 2024
spot_img
InicioTecnologíaGPT-3: el lenguaje autorregresivo mas potente hasta hoy

GPT-3: el lenguaje autorregresivo mas potente hasta hoy

¿Te gustaría aprender Programación, Desarrollo Web, Análisis de Datos, Python y mucho más? Aquí hay cursos desde cero sobre estos temas, que incluyen certificados, soporte y una gran comunidad. 😎 👉 Ver lista de cursos.

Generative Pre-trained Transformer 3, mejor conocida por sus siglas, GPT-3, es un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para producir textos que simulan la redacción humana.

GPT-3 es un nuevo modelo de inteligencia artificial que permite generar lenguaje escrito. Gracias al diseño de su algoritmo, el usuario solo basta que empiece a escribir un párrafo y el propio sistema se encarga de completar el resto de la forma más coherente posible. Su gran potencial es una muestra de las posibilidades que existen para llegar a una inteligencia artificial general, capaz de aprender tareas intelectuales como las personas.

La inteligencia artificial (IA) actual funciona bien cuando la aplicas a un ámbito muy concreto: desde jugar al ajedrez a hacer un diagnóstico médico. Pero el gran reto en el siglo XXI, consiste en alcanzar una inteligencia artificial general (AGI por sus siglas en inglés), que es aquella IA capaz de aprender tareas intelectuales como lo hacen los humanos.

En este contexto, destaca GPT-3, un modelo de IA que permite generar lenguaje escrito. Es lo que se conoce como un modelo de lenguaje auto-regresivo, es decir, “un algoritmo que permite crear la siguiente mejor palabra que seguiría a un texto dado”, explica César de Pablo, científico de datos en BBVA Data & Analytics.

El usuario, solo tiene que comenzar a escribir un párrafo y el propio algoritmo se encargara de completar el resto de la forma más coherente posible. Por ejemplo, si escribe una serie de frases como “la capital de España es Madrid”, “la capital de Francia es París” y “la capital de Alemania es Berlín”, el sistema respondería continuando con frases similares como “la capital de Italia es Roma”. De esta manera, generando palabra tras palabra, puede llegar a crear un escrito de la longitud fijada por el usuario (por ejemplo 100 palabras) o que incluso tenga un final natural.

GPT-3: el lenguaje autorregresivo mas potente hasta hoy- Azul Web

“GPT-3 ha despertado mucho interés porque es uno de los primeros sistemas que muestran las posibilidades de una inteligencia artificial general debido a que completa con resultados sorprendentemente razonables tareas que hasta ahora requerían un sistema construido especialmente para resolver esa tarea particular. Además lo hace a partir de tan solo unos pocos ejemplos”.

¿Cómo se entrena?

GPT-3 es un algoritmo de ‘deep learning’ (aprendizaje profundo) que tiene 96 capas y 175 mil millones de parámetros. Es decir, “1.000 veces más que modelos previos como BERT (un modelo especializado en tareas de procesamiento de lenguaje natural que cuenta con 110 millones de parámetros)”.

El sistema se han utilizado en total 500 mil millones de palabras, extraídas de textos de la web, Wikipedia y varias colecciones de libros en abierto. Y también menciona que la forma de entrenamiento empleada se conoce como auto-supervisada, “puesto que son algoritmos que tratan de predecir la siguiente palabra, cualquier texto escrito por una persona nos sirve para entrenarlos”.

Detrás de este modelo de inteligencia artificial está OpenAI, una organización puesta en marcha por empresarios como Elon Musk, cofundador de Tesla y SpaceX, y Reid Hoffman, cofundador de LinkedIn, que nació con el objetivo de investigar y democratizar el acceso a la inteligencia artificial general. En sus orígenes, se trataba de una organización sin ánimo de lucro. Sin embargo, en 2020, se ha convertido en una empresa y se ha asociado con Microsoft con el fin de conseguir nuevos avances tanto en el ámbito del lenguaje, con modelos GPT-3, como en la robótica y la visión artificial.

Su uso actual

“El modelo GPT-3 actualmente no es una solución realmente práctica para muchos problemas industriales” y por tanto, su uso hoy en día se limita principalmente a la comunidad investigadora, que lo trabaja a partir de una API.

El sistema todavía tiene algunas limitaciones y replicar el trabajo que ha hecho OpenAI, resulta complicado debido a que los costes computacionales que implica aún son muy altos. A ello se suman los obstáculos a los que tienen que hacer frente la mayoría de los algoritmos de aprendizaje automático: los sesgos.

GPT-3: el lenguaje autorregresivo mas potente hasta hoy- Azul Web

“El dato con el que entrenas al algoritmo a menudo tiene un sesgo que este va a reflejar. En el caso de los modelos de lenguaje, el problema es que el algoritmo aprende de aquello que lee y por tanto, si lo entrenas a partir de un texto obtenido de la web, pueden colarse sesgos de género o racistas”. Pese a que la IA puede leer mucho más de lo que una persona lo hace a lo largo de su vida, a día de hoy el cerebro humano es mucho más eficiente a la hora de usar los datos y de aprender.

Un gran potencial

Pese a estas limitaciones, existen otros modelos similares a GPT-3, pero más pequeños, que ya suponen una auténtica revolución. Su aplicación se puede ver en las tecnologías del lenguaje humano (procesamiento de lenguaje, habla, traducción, búsqueda o asistentes virtuales), en la generación de imágenes o audio e incluso en las ayudas a la programación de ‘software’. Es el caso de sistemas como GPT-2 (OpenAI), BERT y T-5 (Google), ROBERTA (Facebook) o CTRL (Salesforce).

Aun así, GPT-3 se presenta como una alternativa con un gran potencial de cara al futuro. Al ser un sistema especialmente bueno en la generación de textos largos que guardan cierta coherencia entre las frases. “Cada vez veremos más modelos de este tipo utilizados para generar textos de forma semi-automática. Por ejemplo, para asistentes conversacionales de todo tipo, para ayudar en la escritura de noticias u otro tipo de informes, y en la búsqueda de información”.

BBVA

¿Sabías que este sitio web no incluye anuncios gracias a Azul School? Es nuestra comunidad de aprendizaje, donde puedes acceder a una gran variedad de cursos de tecnología. Haz clic aquí para conocerla.


Ernesto Mota
Ernesto Mota
Nací en el d.f., sigo siendo defeño, hoy radico en la hermosa ciudad de Cuernavaca, Morelos, soy Ing. en Sistemas computacionales, con un posgrado en Tecnologías de información, Doctorando en ambientes virtuales de aprendizaje y realidad aumentada, Tecnólogo es mi categoría laboral, y mi linea de investigación es la realidad aumentada aplicada a nuevos entornos de aprendizaje.
RELATED ARTICLES

Most Popular

Recent Comments

×