Come l'IA analizza i video di cucina: dentro la pipeline multimodale di Pluck

Immagina un Reel di trenta secondi in cui qualcuno prepara le uova in purgatorio. Per due secondi compare una scritta a schermo, “1 barattolo di pelati”, mentre nell’audio si sente: “io ci metto sempre mezzo cucchiaino di peperoncino, ma regolatevi voi”. Nella didascalia la ricetta non c’è, e un articolo di blog nemmeno. La ricetta intera esiste come groviglio di voce, immagini e scritte che passano in un lampo.

Come fa un’IA a ricavarne una ricetta strutturata, con l’elenco degli ingredienti e i passaggi numerati?

Il nostro articolo su se l’IA riesca davvero a ricavare una ricetta da un video dà il quadro generale. Qui scendiamo di un piano, nella tecnica dietro ogni passaggio.

Che cosa vuol dire “guardare” un video, per un’IA

Una persona coglie un video di cucina tutto in una volta. L’IA deve fare la stessa cosa dichiaratamente e per tappe.

La pipeline di Pluck raccoglie cinque tipi di segnale: i fotogrammi del video, l’audio (trascritto in testo), il testo a schermo, la didascalia con la descrizione e i metadati del post. Li consegna a un modello di IA multimodale che li legge insieme, scioglie le contraddizioni e riempie i vuoti.

Il campionamento dei fotogrammi: vedere la cucina

Un filmato di dieci minuti su YouTube a trenta fotogrammi al secondo ne contiene diciottomila, e la stragrande maggioranza sono quasi identici. Elaborarli tutti brucia calcolo e non aggiunge un solo segnale.

Pluck sceglie invece un piccolo gruppo di fotogrammi chiave, più o meno da 8 a 10 per video. Con il rilevamento delle scene trova i momenti in cui l’immagine cambia e la densità di informazione è più alta: lo stacco dal tagliere ai fornelli, il cartello con il titolo che entra in scena. In più tiene sempre un fotogramma dei primi secondi, dove di solito sta il titolo, e uno della fine, dove molti creator mostrano il riepilogo della ricetta.

In ogni fotogramma l’IA cerca gli ingredienti, le misure leggibili su misurini, cucchiai o bilance da cucina, le etichette delle confezioni, le scritte in sovrimpressione e lo stato del cibo, dal crudo all’impiattato.

L’analisi dei fotogrammi è indispensabile per i video di cucina muti, in stile ASMR, senza racconto e a volte senza nemmeno una scritta. Dai soli fotogrammi, l’IA può riconoscere la maggior parte degli ingredienti e ricostruire l’ordine della preparazione.

Perché contano fotogrammi al secondo e risoluzione

Un caricamento in 4K su YouTube consegna scritte nitide e confezioni leggibili. Un TikTok a bassa risoluzione, compresso passando per tre piattaforme, può avere un testo che fatica a decifrare perfino un occhio umano. Allora l’estrazione deve appoggiarsi all’audio e alla didascalia, e il punteggio di affidabilità ne tiene conto.

La trascrizione dell’audio: ascoltare chi cucina

Per la maggior parte dei video di cucina la traccia audio è il canale più ricco di tutti. Si racconta mentre si cucina, e in quel racconto c’è il cuore della ricetta: ingredienti, dosi, tempi, temperature, gesti.

Con il disordine di una cucina vera il riconoscimento vocale di oggi se la cava sorprendentemente bene. I modelli filtrano i rumori di cucina e la musica di sottofondo, e gestiscono in modo affidabile accenti marcati, parlata veloce e parole mangiate, che avrebbero fatto capitolare i sistemi di qualche anno fa.

L’IA interpreta anche il linguaggio della cucina. Sa che “buttaci dentro una noce di burro” mette il burro tra gli ingredienti, e che “aggiusta di sale e pepe” rende sale e pepe due ingredienti, anche se nessuno ha detto quanti. E coglie le frasi buttate lì di sfuggita: “mia nonna qui ci metteva lo strutto, io uso l’olio” fa dell’olio l’ingrediente di questa ricetta, e la sostituzione viene annotata.

Il testo a schermo: leggere quello che i creator scrivono

Una fetta enorme dei video brevi di ricette, su TikTok, nei Reels di Instagram e negli Shorts di YouTube, usa le scritte in sovrimpressione come mezzo principale di comunicazione. Sotto suona un audio del momento mentre il creator impila il testo sull’immagine, e la ricetta vive per intero in quel livello di testo.

Pluck non fa un passaggio separato di riconoscimento dei caratteri: il modello di visione legge il testo di ogni fotogramma chiave come farebbe una persona, tenendo conto di impaginazione e contesto. Una scritta grande in alto nei primi secondi è quasi certamente il titolo. Una scritta che lampeggia mentre un ingrediente entra in scena è quasi certamente una dose. Una scritta che resta ferma attraverso più stacchi è probabilmente l’elenco degli ingredienti che scorre insieme al video.

Conta anche il momento. Una sovrimpressione che compare nell’istante esatto in cui il latte finisce nella ciotola viene legata a quel gesto, così un preciso “200 ml di latte intero” a schermo completa un vago “adesso aggiungi il latte” nell’audio.

Il problema dei trecento millesimi

C’è chi monta in modo che una scritta resti a schermo solo trecento millesimi di secondo. Il rilevamento delle scene ne intercetta parecchie, perché spesso una scritta nuova arriva insieme a uno stacco, ma un gruppo di fotogrammi chiave può comunque lasciarsi sfuggire un lampo che cade tra l’uno e l’altro. Quando la ricetta esce incompleta, il punteggio di affidabilità scende, così sai che vale la pena dare un’occhiata.

Didascalie e metadati: il livello di controprova

La didascalia, la descrizione del video e i metadati del post formano il quarto e il quinto segnale: una controprova che conferma e arricchisce quello che dicono video e audio.

E vengono anche per primi. Prima di scaricare qualsiasi cosa, Pluck legge la didascalia. Se il creator ci ha già scritto la ricetta completa, Pluck la estrae direttamente da lì e salta i passaggi più lenti: download, fotogrammi e trascrizione. L’analisi completa del video parte solo quando nella didascalia la ricetta manca, o ce n’è solo un pezzo.

L’audio Pluck lo trascrive da sé, invece di affidarsi ai sottotitoli automatici delle piattaforme, famosi per storpiare il lessico della cucina. Le descrizioni di YouTube contengono di frequente elenchi di ingredienti interi o parziali, riferimenti temporali o il link alla ricetta scritta, e le didascalie di TikTok a volte nominano gli ingredienti principali o il nome del piatto.

La fusione multimodale: dove i segnali si incontrano

Il modello di IA vede insieme i fotogrammi chiave, la trascrizione, la didascalia e i metadati, e scioglie le contraddizioni tra l’uno e l’altro per ogni ingrediente, ogni dose e ogni passaggio. Mettiamo che su YouTube qualcuno prepari un ragù di salsiccia e finocchietto:

L’analisi dei fotogrammi riconosce salsiccia, cipolla, pelati, vino bianco e alcune spezie sul piano di lavoro.
La trascrizione dell’audio cattura “un cucchiaio abbondante di semi di finocchio”.
L’OCR legge la sovrimpressione “1 cucchiaio di semi di finocchio”.
La descrizione elenca “semi di finocchio” in una lista incompleta, senza dose.

Il modello ne ricava “1 cucchiaio di semi di finocchio”: la dose dal testo a schermo e dall’audio, che coincidono, l’identità dell’ingrediente da audio, testo a schermo e descrizione, cioè da tre fonti che concordano. Se la trascrizione avesse capito male “semi di finocchio”, gli altri segnali l’avrebbero messa in minoranza.

Il punteggio di affidabilità: sapere quello che non si sa

Non tutte le estrazioni sono ugualmente solide, perciò Pluck assegna a ognuna un punteggio di affidabilità, che nella schermata di revisione compare come affidabilità alta, media o bassa. Quando è alto, vuol dire che i segnali erano d’accordo e che la ricetta è completa: il salvataggio è rapido e la revisione minima. Un punteggio basso arriva con l’invito a ricontrollare prima di salvare e a confrontare l’elenco degli ingredienti con il video. Ogni campo si può modificare.

Nel punteggio entrano anche completezza e precisione. Una ricetta con titolo, dodici ingredienti ben specificati e otto passaggi numerati sta messa meglio di una con titolo, quattro ingredienti vaghi e un unico paragrafo di istruzioni.

Perché ogni piattaforma vuole una strategia sua

I video di YouTube tendono a essere più lunghi, meglio raccontati e spesso corredati di testo nella descrizione. La trascrizione dell’audio è di solito il canale dominante. Una precisazione: oggi Pluck estrae una ricetta per video, quindi una raccolta tipo “5 cene veloci per la settimana” ti dà una ricetta, non cinque. Pluck gestisce video fino a 30 minuti. Il procedimento nel dettaglio sta nella nostra guida per estrarre ricette dai video YouTube.

I video di TikTok sono corti, spesso rumorosi e appoggiati pesantemente sulle scritte a schermo, quindi qui l’OCR acquista peso. Sulla traccia audio gira di frequente una canzone del momento invece di un racconto, quindi da lì arriva poco segnale, e ogni immagine porta proporzionalmente più informazione. E come abbiamo raccontato a lungo, la funzione di salvataggio di TikTok è inaffidabile quando si tratta di conservare ricette.

I Reels di Instagram stanno nel mezzo. Spesso mettono insieme racconto e sovrimpressioni, e nel campo della didascalia finisce regolarmente la ricetta intera in forma di testo. In quel caso la didascalia diventa la fonte più affidabile in assoluto, e l’analisi del video serve da conferma più che da canale principale.

La scelta del modello: l’attrezzo giusto per il lavoro giusto

Pluck non si affida a un solo modello. La pipeline smista ogni estrazione in base al tipo di materiale che riceve, con modelli di Anthropic (Claude), OpenAI (GPT, più Whisper per trascrivere l’audio) e Google (Gemini). Una pagina web, una foto e un video sono lavori diversi: le pagine semplici e ben strutturate possono andare a un modello più veloce, le fonti più difficili a uno più capace. Ogni lavoro ha anche modelli di riserva di altri fornitori, così se un fornitore è lento o non risponde, l’estrazione passa al successivo invece di fallire.

Perché tutto questo conta quando devi fare la cena

Tutta questa ingegneria serve a uno scopo pratico e uno soltanto: hai visto una ricetta in un video e la vuoi cucinare senza riavvolgere quaranta volte, senza fotografare lo schermo e perdere tutto nel rullino e senza ricopiarla a mano.

Quello che esce dall’altra parte è una scheda pulita: titolo, ingredienti, passaggi, tempi, porzioni. Il formato è lo stesso, che la fonte fosse una lezione di trenta minuti su YouTube, un TikTok da quindici secondi o un carosello di foto di Instagram con la ricetta sparsa tra le slide. La pagina come funziona Pluck spiega tutti e cinque i canali.

Una ricetta strutturata è anche quello che fa funzionare il resto dell’app. Un video salvato può finire nel tuo piano dei pasti, in una lista della spesa dove gli ingredienti doppi vengono uniti e ordinati per reparto, e nella modalità cucina, dove ogni passaggio mostra gli ingredienti che usa. È la stessa struttura a permettere a Riempi la settimana di scegliere tra le ricette che hai salvato e alla scansione della dispensa di confrontare una foto del tuo frigo con i loro ingredienti. I video lunghi vengono elaborati in background e ti arriva una notifica quando la ricetta è pronta.

Pluck non è più l’unica app che legge i video di cucina. Anche ReciMe, Honeydew e Deglaze trascrivono l’audio, e Deglaze dichiara di leggere pure il testo a schermo fotogramma per fotogramma. Molte altre, tra cui Mela e Pestle, leggono solo la didascalia. Se stai confrontando, la pagina sulle migliori app di ricette mette in fila chi fa che cosa.

Due anni fa niente di tutto questo era possibile a un livello di qualità utile per cucinare. E continua a migliorare: i modelli crescono, la taratura del punteggio si fa più precisa e la categoria di video che produce estrazioni incomplete si restringe a ogni aggiornamento.

Ti va di vedere l’analisi multimodale all’opera? Pluck è disponibile su iOS e Android. Scaricalo su Google Play. Lo trovi anche su iOS.