Cómo la IA analiza vídeos de cocina: por dentro de la extracción multimodal de Pluck

Imagina un Reel de Instagram de 30 segundos en el que alguien prepara un pisto con huevo. La cámara baja hacia una sartén de hierro. Una mano casca los huevos sobre el tomate que borbotea. Un rótulo aparece dos segundos en pantalla, “1 lata de tomate triturado”, mientras la creadora dice: “yo aquí le pongo siempre media cucharadita de comino, que le va genial”. En el pie no hay receta. No hay entrada de blog. La receta entera existe como una maraña de audio, imagen y texto fugaz.

¿Cómo convierte una IA eso en una receta estructurada, con lista de ingredientes y pasos numerados?

Es la pregunta que está en el centro de lo que hace Pluck, y la respuesta pasa por un proceso bastante más elaborado de lo que la gente imagina. Si ya leíste nuestro artículo sobre si la IA puede extraer recetas de vídeos, tienes el panorama general. Este baja un piso más: a las decisiones de ingeniería, a las concesiones entre unas vías y otras, a las cuentas que hay detrás de la confianza y a por qué cada plataforma exige una estrategia distinta.

Qué significa “mirar” un vídeo para una IA

Cuando una persona ve un vídeo de cocina, todo ocurre a la vez. Ves los ingredientes, oyes las indicaciones, lees el rótulo y montas la receta en tu cabeza sobre la marcha. Tu cerebro funde todas esas entradas sin que tengas que pensarlo.

Una IA tiene que hacer lo mismo, pero de forma explícita y por etapas. El proceso de Pluck parte un vídeo de cocina en cinco vías de señal, trata cada una por separado y después las junta en un paso de fusión que resuelve contradicciones y rellena huecos. Las cinco vías son: análisis de fotogramas, transcripción del audio, lectura del texto en pantalla (OCR), subtítulos y pies de vídeo, y metadatos.

Cada vía tiene sus puntos fuertes. Cada una falla de una manera distinta. La potencia está en combinarlas.

Muestreo de fotogramas: ver la cocina

La IA no procesa todos los fotogramas de un vídeo. Un vídeo de YouTube de 10 minutos a 30 fotogramas por segundo son 18.000 imágenes, y casi todas son prácticamente idénticas: la cámara sobre el trípode mirando cómo chup-chupea una olla. Procesarlas todas quema cómputo y no aporta ni una señal más.

Lo que hace Pluck es un muestreo inteligente. El sistema detecta los cambios de escena: el corte del plano de la tabla al plano de los fogones, el zoom sobre un vaso medidor, un cartel que entra en cuadro. En esas transiciones es donde la densidad de información es máxima. Además muestrea a intervalos regulares, para no perderse las escenas tranquilas en las que alguien va colocando ingredientes en la encimera sin cortes de por medio.

¿Qué busca la IA en un fotograma muestreado? Varias cosas a la vez. La disposición de los ingredientes: una tabla con verduras reconocibles. Medidas visibles en vasos, cucharas o básculas de cocina. Etiquetas de envases que identifican un producto concreto. Rótulos que la creadora ha añadido. El estado del alimento en cada fase: crudo, dorándose en la sartén, emplatado. Cada una de esas observaciones se convierte en un dato que acaba en la receta final.

El análisis de fotogramas es imprescindible para un tipo de contenido muy concreto: el vídeo de cocina mudo. Esos clips tipo ASMR, populares en YouTube y en Instagram, enseñan a alguien cocinando en silencio absoluto. Sin narración. A veces sin texto. Solo manos, ingredientes y técnica. Sin análisis de fotogramas, esos vídeos son un muro opaco. Con él, la IA identifica la mayoría de los ingredientes y reconstruye el orden de la preparación solo con lo que se ve.

Por qué importan la resolución y los fotogramas por segundo

No todas las fuentes son iguales. Una subida a YouTube en 4K le da a la IA rótulos nítidos y envases reconocibles. Un TikTok de baja resolución recomprimido al pasar por tres plataformas puede llevar un texto que ni una persona descifra. El proceso de Pluck ajusta los umbrales de confianza del OCR según la resolución de origen. Con material peor, las puntuaciones de texto bajan, y el sistema se apoya más en el audio y en el pie de vídeo para compensar.

Transcripción del audio: escuchar a quien cocina

Para la mayoría de los vídeos de cocina, el audio es la vía más rica. La gente narra mientras cocina, y en esa narración está el núcleo de la receta: ingredientes, cantidades, tiempos, temperaturas y técnica. “250 gramos de harina, tamizada.” “Marca el pollo a fuego medio-alto unos cuatro minutos por cada lado.” “Ahora le echo una cucharadita de pimentón ahumado; si no tienes, con pimentón normal vale.”

El reconocimiento de voz actual se maneja sorprendentemente bien con el caos de una cocina real. Aceite chisporroteando, agua corriendo, cazuelas golpeando, música de fondo: los modelos lo filtran y aíslan la voz. Los acentos, el habla rápida y el mascullar que tumbaban a los sistemas antiguos hoy se resuelven sin drama.

Pero la IA no se limita a transcribir palabras: interpreta el lenguaje de la cocina. Entiende que “le echas una nuez de mantequilla” convierte la mantequilla en ingrediente y no en una instrucción mecánica. Sabe que “lo dejas unos veinte minutos” es una indicación de tiempo. Reconoce que “salpimienta al gusto” convierte la sal y la pimienta en ingredientes, aunque nadie haya dicho una cantidad.

La transcripción también recoge los comentarios de pasada que llevan información real. Cuando alguien dice “mi abuela aquí usaba manteca, pero yo uso mantequilla”, la IA anota correctamente la mantequilla como el ingrediente de esta receta y guarda el contexto de la sustitución.

Lectura del texto en pantalla: leer lo que la gente escribe

Una parte enorme del vídeo corto de recetas (TikTok, Instagram Reels, YouTube Shorts) usa los rótulos como principal forma de comunicación. Suena un audio de moda mientras la creadora va apilando texto en pantalla: “250 g de harina”, “100 g de azúcar”, “180 °C, 25 min”. La receta vive entera en esa capa visual.

El OCR de Pluck va más allá del reconocimiento de caracteres. Aplica razonamiento espacial y temporal al texto que lee. Un texto grande en la parte alta del cuadro al principio del vídeo es, con toda probabilidad, el título de la receta. Un texto que aparece un instante justo cuando se añade algo es, con toda probabilidad, una medida. Un texto que se mantiene a través de varios cortes puede ser la lista de ingredientes.

La dimensión temporal es clave. Un rótulo que aparece en el mismo momento en que se vierte leche en un bol queda asociado a esa acción. Si el rótulo dice “200 ml de leche entera” y el audio dice “añade leche”, la IA toma la lectura más concreta del OCR y la fusiona con la confirmación del audio de que en ese paso entra leche.

El problema de los 300 milisegundos

Hay quien monta de forma que el texto aparece 300 milisegundos, apenas lo justo para que lo lea una persona, no digamos para procesarlo. El muestreo de Pluck apunta expresamente a los momentos en los que entra texto en cuadro y aumenta la densidad de muestras ahí. Aun así, el parpadeo extremo sigue siendo uno de los casos difíciles. Esas extracciones salen marcadas con menos confianza, para que sepas que conviene repasarlas.

Subtítulos y metadatos: la capa de contraste

Los subtítulos, las descripciones y los metadatos de la plataforma forman la cuarta y la quinta vía. Se les suele tratar como secundarios, pero cumplen un papel crítico: son la capa de contraste que valida y enriquece los datos de las vías principales.

Los subtítulos automáticos son, en el fondo, el reconocimiento de voz de la propia plataforma. Son imperfectos (los de YouTube tienen fama de destrozar el vocabulario de cocina), pero aportan una segunda opinión independiente sobre lo que se dijo. Cuando la transcripción de Pluck y los subtítulos de YouTube coinciden en “dos cucharadas de salsa de soja”, la confianza de ese dato sube. Cuando discrepan, el sistema mira el contexto para decidir cuál es más probable.

Los subtítulos que sube la propia creadora valen más, porque han pasado por una revisión a mano. Las descripciones de YouTube incluyen a menudo listas de ingredientes completas o parciales, marcas de tiempo o enlaces a una entrada de blog con la receta escrita. Los pies de TikTok pueden mencionar los ingredientes clave o el nombre del plato. Todo ese texto se analiza y se cruza con las demás vías.

Fusión multimodal: donde se juntan las señales

Esta es la parte que hace que el conjunto valga más que la suma de sus piezas. Cuando cada vía ya se ha procesado por separado, el paso de fusión junta los cinco flujos y resuelve las contradicciones.

Un ejemplo concreto. Alguien prepara un arroz con pollo en YouTube. Esto es lo que produce cada vía:

El análisis de fotogramas identifica pollo, pimiento, cebolla, tomate y varias especias sobre la encimera. Y ve una cuchara medidora.
La transcripción del audio recoge “una cucharada de pimentón” y “medio litro de caldo de pollo”.
El OCR lee un rótulo que dice “1 cda. de pimentón dulce”.
Los subtítulos automáticos lo transcriben como “una cucharada de pie de montón” (porque con vocabulario de cocina son un desastre).
La descripción enumera “pimentón” en una lista de ingredientes incompleta, sin cantidad.

El motor de fusión resuelve todo eso como “1 cucharada de pimentón dulce”: la cantidad sale del OCR y del audio, que coinciden; la identidad del ingrediente sale del audio, del OCR y de la descripción, tres a favor; y la versión destrozada de los subtítulos se descarta. El error automático no hace daño porque las demás vías lo dejan en minoría.

Esta resolución de conflictos se repite para cada ingrediente, cada medida y cada instrucción de la receta. Cada dato recibe una puntuación de confianza según cuántas vías lo respaldan y hasta qué punto coincidían.

Puntuación de confianza: saber lo que no se sabe

No todas las extracciones son igual de fiables, y fingir lo contrario erosiona la confianza. Pluck asigna una puntuación a cada extracción, y esa puntuación cambia directamente lo que ves.

Cuando la confianza es alta, con varias vías corroborándose entre sí y la receta completa, se guarda en un momento y con un repaso mínimo. Cuando es más baja, se señala de qué partes de la receta el sistema está menos seguro. Igual el audio venía sucio y la IA no sabe si se dijo “una cucharadita” o “una cucharada” de cayena. Ese ingrediente sale marcado para que lo verifiques.

En la puntuación entra también lo completa que ha quedado la receta. Una con título, doce ingredientes bien especificados y ocho pasos numerados puntúa más alto que otra con título, cuatro ingredientes vagos y un único párrafo de instrucciones. Cuentan por igual el detalle y la integridad.

Por qué cada plataforma pide una estrategia distinta

Un vídeo de YouTube de 45 minutos y un TikTok de 15 segundos son problemas de extracción radicalmente distintos, aunque los dos lleven una receta dentro. El proceso de Pluck se adapta a la fuente de varias maneras.

Los vídeos de YouTube suelen ser largos, mejor narrados y con texto en la descripción. El audio suele ser la vía dominante. La IA tiene más material con el que trabajar, pero también tiene que lidiar con vídeos de varias recetas (“5 cenas rápidas entre semana”) y localizar dónde acaba una y empieza la siguiente. El recorrido detallado está en nuestra guía sobre extraer recetas de vídeos de YouTube.

Los vídeos de TikTok son cortos, ruidosos y muy dependientes de los rótulos. Ahí el OCR gana peso. El audio suele ser una canción de moda en lugar de una narración, o sea que aporta poca señal. El análisis de fotogramas importa más, porque en un formato tan comprimido cada imagen carga proporcionalmente más información. Y como ya hemos contado largo y tendido, guardar en TikTok no sirve para conservar recetas a largo plazo.

Los Reels de Instagram están a medio camino. Suelen combinar narración con rótulos, y el campo del pie contiene a menudo la receta entera escrita. Cuando la creadora la escribe ahí, esa pasa a ser la fuente más fiable, y el análisis del vídeo sirve de validación en lugar de ser la vía principal.

Elegir modelo: la herramienta adecuada para cada tarea

Pluck no depende de un único modelo de IA. Cada modelo tiene sus puntos fuertes, y el proceso dirige cada extracción al proveedor que mejor encaja con ese tipo de contenido.

El sistema puede usar Claude, GPT y Gemini, entre otros. Algunos modelos son mejores en visión y se manejan con fotogramas abarrotados, con varios rótulos sobre un fondo movido. Otros entienden mejor el habla con acento cerrado o con ruido de fondo. Otros brillan generando salida estructurada y devuelven un JSON limpio con las cantidades bien normalizadas.

La decisión se toma a partir del análisis de contenido de las primeras fases del proceso. Un vídeo narrado con audio limpio puede acabar en un modelo fuerte en lenguaje. Un vídeo mudo con rótulos por todas partes puede ir a uno con mejor visión. Tú no ves nada de este reparto: simplemente recibes la mejor extracción que el sistema es capaz de producir.

Por qué importa todo esto cuando estás haciendo la cena

Toda esta ingeniería sirve a un único fin práctico: viste una receta en un vídeo y quieres cocinarla. No quieres pausar y rebobinar cuarenta veces. No quieres hacerle una captura y perderla en el carrete. Y no quieres teclearla a mano.

Al trabajar con varias vías, Pluck aguanta la realidad desordenada en la que hoy viven las recetas en internet. No en un blog bien maquetado con botón de imprimir, sino habladas a toda velocidad sobre sartenes que chisporrotean, escritas dos segundos en pantalla, medio contadas en un pie y sin quedar documentadas en ninguna parte. La IA mira, escucha, lee y cruza para que tú no tengas que hacerlo. Lo que sale al otro lado es una ficha limpia: título, ingredientes, pasos, tiempos, raciones. El mismo formato tanto si la fuente era una clase magistral de 45 minutos en YouTube como un TikTok de 15 segundos. Cómo encajan las cinco vías de extracción está explicado en la página cómo funciona Pluck.

La tecnología es genuinamente nueva. Hace dos años, nada de esto era posible con una calidad que sirviera para cocinar de verdad. Hoy la IA multimodal ha cruzado la línea que separa la demo de investigación de la herramienta de cocina. Y sigue mejorando: los modelos avanzan, la confianza se calibra mejor y la categoría de vídeos que dan extracciones incompletas se encoge con cada actualización.

¿Quieres ver la extracción multimodal en marcha? Pluck está disponible en iOS y Android. Consíguela en Google Play. Pega la URL de cualquier vídeo de cocina y mira cómo la IA la convierte en una receta con la que puedes ponerte a cocinar. También en iOS.