Cómo la IA analiza vídeos de cocina: por dentro de la extracción multimodal de Pluck

Imagina un Reel de Instagram de 30 segundos en el que alguien prepara un pisto con huevo. La cámara baja hacia una sartén de hierro. Una mano casca los huevos sobre el tomate que borbotea. Un rótulo aparece dos segundos en pantalla, “1 lata de tomate triturado”, mientras la creadora dice: “yo aquí le pongo siempre media cucharadita de comino, que le va genial”. En el pie no hay receta. No hay entrada de blog. La receta entera existe como una maraña de audio, imagen y texto fugaz.

¿Cómo convierte una IA eso en una receta estructurada, con lista de ingredientes y pasos numerados?

Es la pregunta que está en el centro de lo que hace Pluck, y la respuesta pasa por un proceso bastante más elaborado de lo que la gente imagina. Si ya leíste nuestro artículo sobre si la IA puede extraer recetas de vídeos, tienes el panorama general. Este baja un piso más: a las decisiones de ingeniería, a las concesiones entre unas vías y otras, a las cuentas que hay detrás de la confianza y a por qué cada plataforma exige una estrategia distinta.

Qué significa “mirar” un vídeo para una IA

Cuando una persona ve un vídeo de cocina, todo ocurre a la vez. Ves los ingredientes, oyes las indicaciones, lees el rótulo y montas la receta en tu cabeza sobre la marcha. Tu cerebro funde todas esas entradas sin que tengas que pensarlo.

Una IA tiene que hacer lo mismo, pero de forma explícita y por etapas. El proceso de Pluck reúne cinco tipos de señal de un vídeo de cocina y se los pasa a un modelo de IA multimodal que los lee juntos, resuelve contradicciones y rellena huecos. Las cinco señales son: los fotogramas del vídeo, el audio (transcrito a texto), el texto en pantalla, la descripción y el pie de la publicación, y sus metadatos.

Cada vía tiene sus puntos fuertes. Cada una falla de una manera distinta. La potencia está en combinarlas.

Muestreo de fotogramas: ver la cocina

La IA no procesa todos los fotogramas de un vídeo. Un vídeo de YouTube de 10 minutos a 30 fotogramas por segundo son 18.000 imágenes, y casi todas son prácticamente idénticas: la cámara sobre el trípode mirando cómo chup-chupea una olla. Procesarlas todas quema cómputo y no aporta ni una señal más.

Lo que hace Pluck es quedarse con un puñado de fotogramas clave, unos 8 a 10 por vídeo. Usa detección de escenas para encontrar los momentos en los que cambia la imagen: el corte del plano de la tabla al plano de los fogones, el zoom sobre un vaso medidor, un cartel que entra en cuadro. En esas transiciones es donde la densidad de información es máxima. Además se queda siempre con un fotograma de los primeros segundos, donde suelen ir los carteles con el título, y otro del final, donde muchos creadores enseñan un resumen de la receta.

¿Qué busca la IA en un fotograma muestreado? Varias cosas a la vez. La disposición de los ingredientes: una tabla con verduras reconocibles. Medidas visibles en vasos, cucharas o básculas de cocina. Etiquetas de envases que identifican un producto concreto. Rótulos que la creadora ha añadido. El estado del alimento en cada fase: crudo, dorándose en la sartén, emplatado. Cada una de esas observaciones se convierte en un dato que acaba en la receta final.

El análisis de fotogramas es imprescindible para un tipo de contenido muy concreto: el vídeo de cocina mudo. Esos clips tipo ASMR, populares en YouTube y en Instagram, enseñan a alguien cocinando en silencio absoluto. Sin narración. A veces sin texto. Solo manos, ingredientes y técnica. Sin análisis de fotogramas, esos vídeos son un muro opaco. Con él, la IA identifica la mayoría de los ingredientes y reconstruye el orden de la preparación solo con lo que se ve.

Por qué importan la resolución y los fotogramas por segundo

No todas las fuentes son iguales. Una subida a YouTube en 4K le da a la IA rótulos nítidos y envases reconocibles. Un TikTok de baja resolución recomprimido al pasar por tres plataformas puede llevar un texto que ni una persona descifra. Cuando el texto de un fotograma no se puede leer con fiabilidad, la extracción tiene que apoyarse en el audio y en la descripción, y la puntuación de confianza lo refleja.

Transcripción del audio: escuchar a quien cocina

Para la mayoría de los vídeos de cocina, el audio es la vía más rica. La gente narra mientras cocina, y en esa narración está el núcleo de la receta: ingredientes, cantidades, tiempos, temperaturas y técnica. “250 gramos de harina, tamizada.” “Marca el pollo a fuego medio-alto unos cuatro minutos por cada lado.” “Ahora le echo una cucharadita de pimentón ahumado; si no tienes, con pimentón normal vale.”

El reconocimiento de voz actual se maneja sorprendentemente bien con el caos de una cocina real. Aceite chisporroteando, agua corriendo, cazuelas golpeando, música de fondo: los modelos lo filtran y aíslan la voz. Los acentos, el habla rápida y el mascullar que tumbaban a los sistemas antiguos hoy se resuelven sin drama.

Pero la IA no se limita a transcribir palabras: interpreta el lenguaje de la cocina. Entiende que “le echas una nuez de mantequilla” convierte la mantequilla en ingrediente y no en una instrucción mecánica. Sabe que “lo dejas unos veinte minutos” es una indicación de tiempo. Reconoce que “salpimienta al gusto” convierte la sal y la pimienta en ingredientes, aunque nadie haya dicho una cantidad.

La transcripción también recoge los comentarios de pasada que llevan información real. Cuando alguien dice “mi abuela aquí usaba manteca, pero yo uso mantequilla”, la IA anota correctamente la mantequilla como el ingrediente de esta receta y guarda el contexto de la sustitución.

Lectura del texto en pantalla: leer lo que la gente escribe

Una parte enorme del vídeo corto de recetas (TikTok, Instagram Reels, YouTube Shorts) usa los rótulos como principal forma de comunicación. Suena un audio de moda mientras la creadora va apilando texto en pantalla: “250 g de harina”, “100 g de azúcar”, “180 °C, 25 min”. La receta vive entera en esa capa visual.

Pluck no ejecuta un paso aparte de reconocimiento de caracteres. El modelo de visión lee el texto de cada fotograma clave como lo haría una persona, entendiendo la composición y el contexto. Un texto grande en la parte alta del cuadro al principio del vídeo es, con toda probabilidad, el título de la receta. Un texto que aparece un instante justo cuando se añade algo es, con toda probabilidad, una medida. Un texto que se mantiene a través de varios cortes puede ser la lista de ingredientes.

La dimensión temporal es clave. Un rótulo que aparece en el mismo momento en que se vierte leche en un bol queda asociado a esa acción. Si el rótulo dice “200 ml de leche entera” y el audio dice “añade leche”, la IA se queda con la lectura más concreta del texto en pantalla y la combina con la confirmación del audio de que en ese paso entra leche.

El problema de los 300 milisegundos

Hay quien monta de forma que el texto aparece 300 milisegundos, apenas lo justo para que lo lea una persona, no digamos para procesarlo. La detección de escenas pilla muchos de esos cambios de rótulo, porque el texto nuevo suele llegar con un corte, pero un puñado de fotogramas clave puede dejarse un destello que caiga entre dos. El parpadeo extremo sigue siendo uno de los casos difíciles. Cuando la receta sale incompleta, la puntuación de confianza baja para que sepas que conviene repasarla.

Descripción y metadatos: la capa de contraste

La descripción, el pie del vídeo y los metadatos de la publicación forman la cuarta y la quinta señal. Se les suele tratar como secundarios, pero cumplen un papel crítico: son la capa de contraste que valida y enriquece lo que dicen el vídeo y el audio.

Además, van primero. Antes de descargar nada, Pluck lee la descripción. Si quien publica ya ha escrito ahí la receta completa, Pluck la extrae directamente de ese texto y se ahorra la descarga, los fotogramas y la transcripción, que son más lentos. Solo cuando a la descripción le falta la receta, o solo tiene una parte, se pone en marcha el análisis completo del vídeo.

Pluck transcribe el audio por su cuenta en lugar de fiarse de los subtítulos automáticos de la plataforma, que tienen fama de destrozar el vocabulario de cocina. Las descripciones de YouTube incluyen a menudo listas de ingredientes completas o parciales, marcas de tiempo o enlaces a una entrada de blog con la receta escrita. Los pies de TikTok pueden mencionar los ingredientes clave o el nombre del plato. Todo ese texto se lee junto con las demás señales.

Fusión multimodal: donde se juntan las señales

Esta es la parte que hace que el conjunto valga más que la suma de sus piezas. El modelo de IA ve a la vez los fotogramas clave, la transcripción, la descripción y los metadatos, y resuelve las contradicciones entre ellos.

Un ejemplo concreto. Alguien prepara un arroz con pollo en YouTube. Esto es lo que aporta cada señal:

El análisis de fotogramas identifica pollo, pimiento, cebolla, tomate y varias especias sobre la encimera. Y ve una cuchara medidora.
La transcripción del audio recoge “una cucharada de pimentón” y “medio litro de caldo de pollo”.
El texto en pantalla es un rótulo que dice “1 cda. de pimentón dulce”.
La descripción enumera “pimentón” en una lista de ingredientes incompleta, sin cantidad.

El modelo lo resuelve como “1 cucharada de pimentón dulce”: la cantidad sale del texto en pantalla y del audio, que coinciden, y la identidad del ingrediente, del audio, del texto en pantalla y de la descripción, tres a favor. Si la transcripción hubiera entendido mal “pimentón” y hubiera puesto otra cosa, las demás señales la habrían dejado en minoría.

Esta resolución de conflictos se repite para cada ingrediente, cada medida y cada instrucción de la receta.

Puntuación de confianza: saber lo que no se sabe

No todas las extracciones son igual de fiables, y fingir lo contrario erosiona la confianza. Pluck asigna una puntuación a cada extracción, y esa puntuación cambia directamente lo que ves.

En la pantalla de revisión, la puntuación aparece como confianza Alta, Media o Baja. Cuando es alta, porque las señales coinciden y la receta está completa, se guarda en un momento y con un repaso mínimo. Una puntuación baja viene con una invitación a revisar antes de guardar. Igual el audio venía sucio y la IA no tenía claro si se dijo “una cucharadita” o “una cucharada” de cayena. Ese es el momento de comparar la lista de ingredientes con el vídeo. Todos los campos se pueden editar.

En la puntuación entra también lo completa que ha quedado la receta. Una con título, doce ingredientes bien especificados y ocho pasos numerados puntúa más alto que otra con título, cuatro ingredientes vagos y un único párrafo de instrucciones. Cuentan por igual el detalle y la integridad.

Por qué cada plataforma pide una estrategia distinta

Un vídeo de YouTube de 30 minutos y un TikTok de 15 segundos son problemas de extracción radicalmente distintos, aunque los dos lleven una receta dentro. El proceso de Pluck se adapta a la fuente de varias maneras.

Los vídeos de YouTube suelen ser largos, mejor narrados y con texto en la descripción. El audio suele ser la vía dominante. La IA tiene más material con el que trabajar. Un matiz: hoy Pluck extrae una receta por vídeo, así que una recopilación de “5 cenas rápidas entre semana” te da una receta, no cinco. Pluck admite vídeos de hasta 30 minutos. El recorrido detallado está en nuestra guía sobre extraer recetas de vídeos de YouTube.

Los vídeos de TikTok son cortos, ruidosos y muy dependientes de los rótulos. Ahí el texto en pantalla gana peso. El audio suele ser una canción de moda en lugar de una narración, o sea que aporta poca señal. El análisis de fotogramas importa más, porque en un formato tan comprimido cada imagen carga proporcionalmente más información. Y como ya hemos contado largo y tendido, guardar en TikTok no sirve para conservar recetas a largo plazo.

Los Reels de Instagram están a medio camino. Suelen combinar narración con rótulos, y el campo del pie contiene a menudo la receta entera escrita. Cuando la creadora la escribe ahí, esa pasa a ser la fuente más fiable, y el análisis del vídeo sirve de validación en lugar de ser la vía principal.

Elegir modelo: la herramienta adecuada para cada tarea

Pluck no depende de un único modelo de IA. Cada modelo tiene sus puntos fuertes, y el proceso reparte cada extracción según el tipo de entrada.

El sistema usa modelos de Anthropic (Claude), OpenAI (GPT, y Whisper para transcribir el audio) y Google (Gemini). Una página web, una foto y un vídeo son trabajos distintos: las páginas sencillas y bien estructuradas pueden ir a un modelo más rápido, y las fuentes difíciles, a uno más capaz. Cada tarea tiene además modelos de reserva de otros proveedores, así que si uno va lento o se cae, la extracción pasa al siguiente en lugar de fallar. Tú no ves nada de este reparto: simplemente recibes la receta.

Por qué importa todo esto cuando estás haciendo la cena

Toda esta ingeniería sirve a un único fin práctico: viste una receta en un vídeo y quieres cocinarla. No quieres pausar y rebobinar cuarenta veces. No quieres hacerle una captura y perderla en el carrete. Y no quieres teclearla a mano.

Al trabajar con varias señales, Pluck aguanta la realidad desordenada en la que hoy viven las recetas en internet. No en un blog bien maquetado con botón de imprimir, sino habladas a toda velocidad sobre sartenes que chisporrotean, escritas dos segundos en pantalla, medio contadas en un pie y sin quedar documentadas en ninguna parte. La IA mira, escucha, lee y cruza para que tú no tengas que hacerlo. Lo que sale al otro lado es una ficha limpia: título, ingredientes, pasos, tiempos, raciones. El mismo formato tanto si la fuente era una clase magistral de 30 minutos en YouTube como un TikTok de 15 segundos o un carrusel de fotos de Instagram con la receta repartida entre varias imágenes. Cómo encajan los cinco modos de extracción está explicado en la página cómo funciona Pluck.

Una receta estructurada es también lo que hace funcionar el resto de la app. Un vídeo guardado puede ir a tu plan de comidas, a una lista de la compra en la que los ingredientes repetidos se juntan y se ordenan por secciones, y al modo cocina, donde cada paso muestra los ingredientes que usa. Los vídeos largos se procesan en segundo plano y te llega una notificación cuando la receta está lista.

Pluck ya no es la única app que lee vídeos de cocina. ReciMe, Honeydew y Deglaze también transcriben el audio, y Deglaze asegura que además lee el texto en pantalla fotograma a fotograma. Muchas otras, como Mela y Pestle, solo leen la descripción. Si estás comparando, la comparativa de apps de recetas resume quién hace qué.

La tecnología es genuinamente nueva. Hace dos años, nada de esto era posible con una calidad que sirviera para cocinar de verdad. Hoy la IA multimodal ha cruzado la línea que separa la demo de investigación de la herramienta de cocina. Y sigue mejorando: los modelos avanzan, la confianza se calibra mejor y la categoría de vídeos que dan extracciones incompletas se encoge con cada actualización.

¿Quieres ver la extracción multimodal en marcha? Pluck está disponible en iOS y Android. Consíguela en Google Play. Pega la URL de cualquier vídeo de cocina y mira cómo la IA la convierte en una receta con la que puedes ponerte a cocinar. También en iOS.