La IA multimodal es un software capaz de procesar varios tipos de entradas. Lee texto, analiza imágenes y escucha archivos de audio, a menudo en el marco de una misma consulta. Además, también puede responder de diferentes formas. Esto la acerca más a la forma en que los seres humanos perciben el mundo. Esta guía explica cómo funcionan estos sistemas, en qué aspectos destacan y en cuáles aún presentan carencias.
¿Qué significa «IA multimodal»?
Un «modo» corresponde a un tipo de datos. El texto es un modo, al igual que las fotos, el sonido y el vídeo. Las herramientas de IA anteriores solían procesar solo un modo. Un modelo lingüístico leía las palabras, mientras que un modelo de visión independiente etiquetaba las imágenes.
La IA multimodal aúna estas capacidades en un mismo sistema. Puedes subir la foto de un gráfico y hacer una pregunta sobre él. El modelo analiza simultáneamente la imagen y la pregunta. Por lo tanto, la respuesta se basa en ambos elementos.
¿Por qué es importante?
En la vida real, las tareas rara vez se presentan en un único formato. Un ticket de asistencia puede incluir una captura de pantalla y un mensaje breve. Un médico puede evaluar una tomografía computarizada junto con notas escritas. En otras palabras, una ayuda eficaz suele requerir el uso de varios sentidos a la vez.
Las herramientas multimodales también reducen la barrera de acceso. Puedes enfocar una cámara hacia un problema en lugar de describirlo. De este modo, las personas a las que les cuesta explicar un problema con palabras obtienen mejores resultados.
¿Cómo funciona la IA multimodal?
Entre bastidores, el truco principal reside en un lenguaje común compuesto por números. Cada tipo de entrada pasa por un codificador. El codificador transforma una frase, un fragmento de imagen o un extracto de sonido en una lista de números. Estas listas se denominan «vectores de incrustación».
El paso clave es la alineación. Durante el entrenamiento, el modelo observa pares como una foto y su pie de foto. Aprende a situar los pares correspondientes cerca unos de otros en el mismo espacio digital. Un ejemplo muy conocido es el artículo CLIP de OpenAI, que estableció vínculos entre imágenes y texto de esta manera.
De los codificadores a las respuestas
Una vez que todo se encuentra en un espacio compartido, un modelo lingüístico puede razonar a partir de estos datos. La imagen se convierte en un conjunto de tokens, al igual que las palabras. A continuación, el modelo predice el siguiente token, paso a paso. De este modo, puede describir una imagen o responder a una pregunta sobre ella.
La misma ventana de contexto contiene todos estos tokens. Por lo tanto, un vídeo largo o una imagen de gran tamaño ocupan mucho espacio. Esta es una de las razones por las que las consultas multimodales son más caras que las de texto sin formato.
IA generativa multimodal
Algunos sistemas no se limitan a comprender. La IA generativa multimodal también crea contenido nuevo en varios formatos. Puede redactar un pie de foto, dibujar una imagen y, a continuación, leer el pie de foto en voz alta. Algunos modelos incluso producen breves clips de vídeo a partir de una instrucción textual.
Nuestra guía sobre la IA generativa de imágenes explica en detalle el aspecto del «dibujo». La versión multimodal añade un vínculo entre los formatos. Por ejemplo, puedes solicitar una diapositiva y obtener tanto el texto como la imagen.
Usos habituales
Ya hay varias aplicaciones al alcance de los usuarios comunes. En primer lugar, las herramientas de accesibilidad describen las fotos para las personas ciegas. En segundo lugar, los compradores realizan búsquedas subiendo una imagen en lugar de escribir texto. En tercer lugar, hay equipos que piden a un modelo que convierta un boceto en una pizarra en código funcional.
La educación es otro ámbito de aplicación importante. Un alumno puede fotografiar un problema de matemáticas y obtener una explicación paso a paso. Del mismo modo, alguien que esté aprendiendo idiomas puede pronunciar una frase y recibir comentarios sobre su pronunciación.
Agentes de IA multimodales
Los agentes de IA multimodales combinan percepción y acción. Un agente es un programa que persigue un objetivo a través de varias etapas. Cuando además es capaz de ver una pantalla, puede hacer clic en botones y rellenar formularios. Para profundizar en los conceptos básicos, consulta nuestra definición de agente de IA.
Pongamos un ejemplo sencillo. Le pides a un agente que reserve una sala de reuniones. Lee la pantalla del calendario, encuentra un hueco disponible y confirma la reserva. Además, puede detectar un mensaje de error y volver a intentarlo.
Sin embargo, estos agentes aún se encuentran en una fase inicial. Les cuesta leer la letra pequeña y pueden hacer clic en el elemento equivocado. Por eso, la mayoría de los equipos siguen recurriendo a una persona en cada paso importante.
Límites y riesgos de la IA multimodal
Los modelos multimodales cometen errores, y estos pueden ser difíciles de detectar. Un modelo puede describir un objeto que no aparece en la imagen. Se trata de una forma visual de alucinación. Sin embargo, la respuesta suele parecer segura, lo que lleva a los usuarios a confiar en ella con demasiada rapidez.
El sesgo constituye otra fuente de preocupación. Los datos de entrenamiento reflejan a las personas y los lugares que aparecen en Internet. Por lo tanto, los modelos pueden mostrar un rendimiento inferior ante rostros, acentos o escenas poco frecuentes en dichos datos. La privacidad también es un problema, ya que una foto puede revelar mucho más de lo que el usuario tenía intención de compartir.
Por último, el coste y el consumo energético suponen limitaciones reales. Las imágenes y los archivos de audio requieren una gran potencia de cálculo. Los equipos pequeños deberían empezar por probar un caso de uso limitado.
En resumen, la IA multimodal aúna texto, imágenes y sonido en una única herramienta. Funciona transformando cada entrada en valores numéricos comunes y, a continuación, realizando razonamientos a partir de ellos. Los resultados son potentes, pero deben verificarse. Empieza con pasos modestos, analiza los resultados y, una vez que se haya comprobado su fiabilidad, amplía tu proyecto.