Cómo la IA analiza vídeos de cocina: por dentro de la extracción multimodal de Pluck

Imagina un Reel de Instagram de 30 segundos en el que alguien prepara un pisto con huevo. Un rótulo aparece dos segundos en pantalla, “1 lata de tomate triturado”, mientras la creadora dice: “yo aquí le pongo siempre media cucharadita de comino, que le va genial”. En el pie no hay receta, y tampoco hay entrada de blog. La receta entera existe como una maraña de audio, imagen y texto fugaz.

¿Cómo convierte una IA eso en una receta estructurada, con lista de ingredientes y pasos numerados?

Nuestro artículo sobre si la IA puede extraer recetas de vídeos da el panorama general. Este baja un piso más, a la ingeniería que hay detrás de cada paso.

Qué significa “mirar” un vídeo para una IA

Una persona asimila un vídeo de cocina de golpe. Una IA tiene que hacer lo mismo de forma explícita y por etapas.

El proceso de Pluck reúne cinco tipos de señal: los fotogramas del vídeo, el audio (transcrito a texto), el texto en pantalla, la descripción y el pie de la publicación, y sus metadatos. Se los pasa a un modelo de IA multimodal que los lee juntos, resuelve contradicciones y rellena huecos.

Muestreo de fotogramas: ver la cocina

Un vídeo de YouTube de 10 minutos a 30 fotogramas por segundo son 18.000 imágenes, y casi todas son prácticamente idénticas. Procesarlas todas quema cómputo y no aporta ni una señal más.

Lo que hace Pluck es quedarse con un puñado de fotogramas clave, unos 8 a 10 por vídeo. Usa detección de escenas para encontrar los momentos en los que cambia la imagen y la densidad de información es máxima: el corte del plano de la tabla al plano de los fogones, un cartel que entra en cuadro. Además se queda siempre con un fotograma de los primeros segundos, donde suelen ir los carteles con el título, y otro del final, donde muchos creadores enseñan un resumen de la receta.

En cada fotograma la IA busca ingredientes, medidas visibles en vasos, cucharas o básculas de cocina, etiquetas de envases, rótulos y el estado del alimento, de crudo a emplatado.

El análisis de fotogramas es imprescindible para los vídeos de cocina mudos, tipo ASMR, sin narración y a veces sin texto. Solo con los fotogramas, la IA puede identificar la mayoría de los ingredientes y reconstruir el orden de la preparación.

Por qué importan la resolución y los fotogramas por segundo

Una subida a YouTube en 4K le da a la IA rótulos nítidos y envases reconocibles. Un TikTok de baja resolución recomprimido al pasar por tres plataformas puede llevar un texto que ni una persona descifra. Entonces la extracción tiene que apoyarse en el audio y en la descripción, y la puntuación de confianza lo refleja.

Transcripción del audio: escuchar a quien cocina

Para la mayoría de los vídeos de cocina, el audio es la vía más rica. La gente narra mientras cocina, y en esa narración está el núcleo de la receta: ingredientes, cantidades, tiempos, temperaturas y técnica.

El reconocimiento de voz actual se maneja sorprendentemente bien con el caos de una cocina real. Los modelos filtran el ruido de la cocina y la música de fondo, y resuelven con fiabilidad los acentos, el habla rápida y el mascullar que tumbaban a los sistemas antiguos.

La IA también interpreta el lenguaje de la cocina. Entiende que “le echas una nuez de mantequilla” convierte la mantequilla en ingrediente, y que “salpimienta al gusto” convierte la sal y la pimienta en ingredientes, aunque nadie haya dicho una cantidad. Y recoge los comentarios de pasada: “mi abuela aquí usaba manteca, pero yo uso mantequilla” convierte la mantequilla en el ingrediente de esta receta, y la sustitución queda anotada.

Lectura del texto en pantalla: leer lo que la gente escribe

Una parte enorme del vídeo corto de recetas (TikTok, Instagram Reels, YouTube Shorts) usa los rótulos como principal forma de comunicación. Suena un audio de moda mientras la creadora va apilando texto en pantalla, y la receta vive entera en esa capa de texto.

Pluck no ejecuta un paso aparte de reconocimiento de caracteres. El modelo de visión lee el texto de cada fotograma clave como lo haría una persona, entendiendo la composición y el contexto. Un texto grande en la parte alta del cuadro al principio del vídeo es, con toda probabilidad, el título de la receta. Un texto que aparece un instante justo cuando se añade algo es, con toda probabilidad, una medida. Un texto que se mantiene a través de varios cortes puede ser la lista de ingredientes.

El momento también cuenta. Un rótulo que aparece en el mismo momento en que se vierte leche en un bol queda asociado a esa acción, de modo que un “200 ml de leche entera” concreto en pantalla completa un vago “añade leche” en el audio.

El problema de los 300 milisegundos

Hay quien monta de forma que el texto aparece solo 300 milisegundos. La detección de escenas pilla muchos de esos cambios de rótulo, porque el texto nuevo suele llegar con un corte, pero un puñado de fotogramas clave puede dejarse un destello que caiga entre dos. Cuando la receta sale incompleta, la puntuación de confianza baja para que sepas que conviene repasarla.

Descripción y metadatos: la capa de contraste

La descripción, el pie del vídeo y los metadatos de la publicación forman la cuarta y la quinta señal: la capa de contraste que valida y enriquece lo que dicen el vídeo y el audio.

Además, van primero. Antes de descargar nada, Pluck lee la descripción. Si quien publica ya ha escrito ahí la receta completa, Pluck la extrae directamente de ese texto y se ahorra la descarga, los fotogramas y la transcripción, que son más lentos. Solo cuando a la descripción le falta la receta, o solo tiene una parte, se pone en marcha el análisis completo del vídeo.

Pluck transcribe el audio por su cuenta en lugar de fiarse de los subtítulos automáticos de la plataforma, que tienen fama de destrozar el vocabulario de cocina. Las descripciones de YouTube incluyen a menudo listas de ingredientes completas o parciales, marcas de tiempo o enlaces a la receta escrita, y los pies de TikTok pueden mencionar los ingredientes clave o el nombre del plato.

Fusión multimodal: donde se juntan las señales

El modelo de IA ve a la vez los fotogramas clave, la transcripción, la descripción y los metadatos, y resuelve las contradicciones entre ellos para cada ingrediente, cada medida y cada instrucción. Pongamos que alguien prepara un arroz con pollo en YouTube:

El análisis de fotogramas identifica pollo, pimiento, cebolla, tomate y varias especias sobre la encimera.
La transcripción del audio recoge “una cucharada de pimentón”.
El texto en pantalla es un rótulo que dice “1 cda. de pimentón dulce”.
La descripción enumera “pimentón” en una lista de ingredientes incompleta, sin cantidad.

El modelo lo resuelve como “1 cucharada de pimentón dulce”: la cantidad sale del texto en pantalla y del audio, que coinciden, y la identidad del ingrediente, del audio, del texto en pantalla y de la descripción, tres a favor. Si la transcripción hubiera entendido mal “pimentón” y hubiera puesto otra cosa, las demás señales la habrían dejado en minoría.

Puntuación de confianza: saber lo que no se sabe

No todas las extracciones son igual de fiables, así que Pluck asigna a cada una una puntuación de confianza, que en la pantalla de revisión aparece como confianza Alta, Media o Baja. Cuando es alta, porque las señales coinciden y la receta está completa, se guarda en un momento y con un repaso mínimo. Una puntuación baja viene con una invitación a revisar antes de guardar y a comparar la lista de ingredientes con el vídeo. Todos los campos se pueden editar.

En la puntuación entran también lo completa y lo detallada que ha quedado la receta. Una con título, doce ingredientes bien especificados y ocho pasos numerados puntúa más alto que otra con título, cuatro ingredientes vagos y un único párrafo de instrucciones.

Por qué cada plataforma pide una estrategia distinta

Los vídeos de YouTube suelen ser largos, mejor narrados y con texto en la descripción. El audio suele ser la vía dominante. Un matiz: hoy Pluck extrae una receta por vídeo, así que una recopilación de “5 cenas rápidas entre semana” te da una receta, no cinco. Pluck admite vídeos de hasta 30 minutos. El recorrido detallado está en nuestra guía sobre extraer recetas de vídeos de YouTube.

Los vídeos de TikTok son cortos, ruidosos y muy dependientes de los rótulos, así que ahí el texto en pantalla gana peso. El audio suele ser una canción de moda en lugar de una narración, o sea que aporta poca señal, y cada imagen carga proporcionalmente más información. Y como ya hemos contado largo y tendido, guardar en TikTok no sirve para conservar recetas a largo plazo.

Los Reels de Instagram están a medio camino. Suelen combinar narración con rótulos, y el campo del pie contiene a menudo la receta entera escrita. En ese caso, el pie pasa a ser la fuente más fiable, y el análisis del vídeo sirve de validación en lugar de ser la vía principal.

Elegir modelo: la herramienta adecuada para cada tarea

Pluck no depende de un único modelo de IA. El proceso reparte cada extracción según el tipo de entrada, con modelos de Anthropic (Claude), OpenAI (GPT, y Whisper para transcribir el audio) y Google (Gemini). Una página web, una foto y un vídeo son trabajos distintos: las páginas sencillas y bien estructuradas pueden ir a un modelo más rápido, y las fuentes difíciles, a uno más capaz. Cada tarea tiene además modelos de reserva de otros proveedores, así que si uno va lento o se cae, la extracción pasa al siguiente en lugar de fallar.

Por qué importa todo esto cuando estás haciendo la cena

Toda esta ingeniería sirve a un único fin práctico: viste una receta en un vídeo y quieres cocinarla sin rebobinar cuarenta veces, sin hacerle una captura y perderla en el carrete y sin teclearla a mano.

Lo que sale al otro lado es una ficha limpia: título, ingredientes, pasos, tiempos, raciones. El formato es el mismo tanto si la fuente era una clase magistral de 30 minutos en YouTube como un TikTok de 15 segundos o un carrusel de fotos de Instagram con la receta repartida entre varias imágenes. La página cómo funciona Pluck explica los cinco modos de extracción.

Una receta estructurada es también lo que hace funcionar el resto de la app. Un vídeo guardado puede ir a tu plan de comidas, a una lista de la compra en la que los ingredientes repetidos se juntan y se ordenan por secciones, y al modo cocina, donde cada paso muestra los ingredientes que usa. Esa misma estructura es la que permite que Llenar mi semana elija entre tus recetas guardadas y que el escaneo de la despensa compare una foto de tu nevera con sus ingredientes. Los vídeos largos se procesan en segundo plano y te llega una notificación cuando la receta está lista.

Pluck ya no es la única app que lee vídeos de cocina. ReciMe, Honeydew y Deglaze también transcriben el audio, y Deglaze asegura que además lee el texto en pantalla fotograma a fotograma. Muchas otras, como Mela y Pestle, solo leen la descripción. Si estás comparando, la comparativa de apps de recetas resume quién hace qué.

Hace dos años, nada de esto era posible con una calidad que sirviera para cocinar de verdad. Y sigue mejorando: los modelos avanzan, la confianza se calibra mejor y la categoría de vídeos que dan extracciones incompletas se encoge con cada actualización.

¿Quieres ver la extracción multimodal en marcha? Pluck está disponible en iOS y Android. Consíguela en Google Play. También en iOS.