Come l'IA analizza i video di cucina: dentro la pipeline multimodale di Pluck

Immagina un Reel di trenta secondi in cui qualcuno prepara le uova in purgatorio. L’inquadratura scende dentro una padella di ferro. Una mano rompe due uova nel pomodoro che sobbolle. Per due secondi compare una scritta a schermo, “1 barattolo di pelati”, mentre nell’audio si sente: “io ci metto sempre mezzo cucchiaino di peperoncino, ma regolatevi voi”. Nella didascalia la ricetta non c’è. Un articolo di blog nemmeno. La ricetta intera esiste come groviglio di voce, immagini e scritte che passano in un lampo.

Come fa un’IA a ricavarne una ricetta strutturata, con l’elenco degli ingredienti e i passaggi numerati?

È la domanda attorno a cui gira tutto il lavoro di Pluck, e la risposta sta in una pipeline più elaborata di quanto quasi tutti immaginino. Se hai già letto il nostro articolo su se l’IA riesca davvero a ricavare una ricetta da un video, hai il quadro generale. Qui scendiamo di un piano: le scelte tecniche, i compromessi tra un canale e l’altro, i conti dietro il punteggio di affidabilità e le ragioni per cui ogni piattaforma richiede una strategia diversa.

Che cosa vuol dire “guardare” un video, per un’IA

Quando guardi un video di cucina, tutto ti arriva insieme. Vedi gli ingredienti, ascolti le istruzioni, leggi la scritta in sovrimpressione e intanto monti la ricetta nella tua testa. Il cervello fonde quelle informazioni senza che tu ci pensi.

L’IA deve fare la stessa cosa, ma dichiaratamente e per tappe. La pipeline di Pluck scompone un video di cucina in cinque canali di segnale distinti, elabora ciascuno per conto suo e poi li sovrappone in un passaggio di fusione che scioglie le contraddizioni e riempie i vuoti. I cinque canali sono: analisi dei fotogrammi, trascrizione dell’audio, riconoscimento del testo a schermo (OCR), lettura di didascalie e sottotitoli, analisi dei metadati.

Ogni canale ha i suoi punti di forza. Ogni canale sbaglia a modo suo. La forza sta nel metterli insieme.

Il campionamento dei fotogrammi: vedere la cucina

L’IA non elabora tutti i fotogrammi di un video. Un filmato di dieci minuti su YouTube a trenta fotogrammi al secondo ne contiene diciottomila, e la stragrande maggioranza sono quasi identici: la camera ferma sul cavalletto che guarda una pentola sobbollire. Elaborarli tutti brucia calcolo e non aggiunge un solo segnale.

Pluck usa invece un campionamento intelligente. Il sistema riconosce i cambi di scena: lo stacco dal tagliere ai fornelli, lo zoom sul misurino, il cartello con il titolo che entra in scena. È in quei passaggi che la densità di informazione è più alta. In più il sistema campiona a intervalli regolari, per non perdere le sequenze lente in cui qualcuno allinea gli ingredienti sul piano di lavoro senza un solo stacco di montaggio.

Che cosa cerca l’IA dentro un fotogramma campionato? Diverse cose insieme. La disposizione degli ingredienti: un tagliere con verdure riconoscibili. Le misure leggibili su misurini, cucchiai o bilance da cucina. Le etichette delle confezioni, che identificano un prodotto preciso. Le scritte che il creator ha aggiunto in sovrimpressione. Lo stato del cibo nelle varie fasi: crudo, rosolato in padella, impiattato. Ognuna di queste osservazioni diventa un dato che confluisce nella ricetta finale.

L’analisi dei fotogrammi è indispensabile per una categoria precisa di contenuti: il video di cucina muto. Quelle clip in stile ASMR, molto diffuse su YouTube e su Instagram, mostrano qualcuno che cucina in totale silenzio. Nessun racconto. A volte nemmeno una scritta. Solo mani, ingredienti e gesti. Senza l’analisi dei fotogrammi quei video sono muri di gomma. Con essa, l’IA riconosce quasi tutti gli ingredienti e ricostruisce l’ordine della preparazione basandosi soltanto su quello che si vede.

Perché contano fotogrammi al secondo e risoluzione

Non tutte le fonti valgono uguale. Un caricamento in 4K su YouTube consegna scritte nitide e confezioni leggibili. Un TikTok a bassa risoluzione, compresso passando per tre piattaforme, può avere un testo che fatica a decifrare perfino un occhio umano. La pipeline di Pluck adatta le soglie dell’OCR alla risoluzione della fonte. Con materiale scadente i punteggi del testo scendono, e il sistema si appoggia di più all’audio e alla didascalia per compensare.

La trascrizione dell’audio: ascoltare chi cucina

Per la maggior parte dei video di cucina la traccia audio è il canale più ricco di tutti. Si racconta mentre si cucina, e in quel racconto c’è il cuore della ricetta: ingredienti, dosi, tempi, temperature, gesti. “Duecentocinquanta grammi di farina 00, setacciata.” “Rosola il pollo a fuoco medio-alto quattro minuti circa per lato.” “Adesso ci metto un cucchiaino di paprika affumicata; se hai solo quella dolce va benissimo lo stesso.”

Con il disordine di una cucina vera il riconoscimento vocale di oggi se la cava sorprendentemente bene. L’olio che sfrigola, l’acqua che scorre, le pentole che sbattono, la musica di sottofondo: i modelli filtrano tutto e isolano la voce. Accenti marcati, parlata veloce e parole mangiate, che avrebbero fatto capitolare i sistemi di qualche anno fa, oggi non sono un ostacolo.

Ma l’IA non si limita a trascrivere parole: interpreta il linguaggio della cucina. Sa che “buttaci dentro una noce di burro” mette il burro tra gli ingredienti e non tra i gesti. Sa che “lascialo andare una ventina di minuti” è un’indicazione di tempo. Riconosce che “aggiusta di sale e pepe” rende sale e pepe due ingredienti, anche se nessuno ha detto quanti.

Anche le frasi buttate lì di sfuggita portano informazione vera. Se qualcuno dice “mia nonna qui ci metteva lo strutto, io uso l’olio”, l’IA segna correttamente l’olio come ingrediente usato in questa ricetta e si tiene da parte il contesto della sostituzione.

Il testo a schermo: leggere quello che i creator scrivono

Una fetta enorme dei video brevi di ricette, su TikTok, nei Reels di Instagram e negli Shorts di YouTube, usa le scritte in sovrimpressione come mezzo principale di comunicazione. Sotto suona un audio del momento mentre il creator impila il testo sull’immagine: “250 g di farina”, “100 g di zucchero”, “180 °C per 25 minuti”. La ricetta vive per intero in quel livello di testo.

L’OCR di Pluck va oltre il riconoscimento dei caratteri: colloca il testo che legge nello spazio e nel tempo. Una scritta grande in alto nei primi secondi è quasi certamente il titolo. Una scritta che lampeggia mentre un ingrediente entra in scena è quasi certamente una dose. Una scritta che resta ferma attraverso più stacchi è probabilmente l’elenco degli ingredienti che scorre insieme al video.

La dimensione temporale è decisiva. Una sovrimpressione che compare nell’istante esatto in cui il latte finisce nella ciotola viene legata a quel gesto. Se la scritta dice “200 ml di latte intero” e l’audio dice soltanto “adesso aggiungi il latte”, l’IA prende la lettura più precisa dall’immagine e dall’audio la conferma che il latte entra proprio lì.

Il problema dei trecento millesimi

C’è chi monta in modo che una scritta resti a schermo trecento millesimi di secondo, appena il tempo perché un occhio umano la sfiori, figurarsi elaborarla per bene. Proprio per questo il campionamento di Pluck punta esplicitamente al momento in cui un testo entra nell’inquadratura e lì infittisce i campioni. Anche così, il lampeggio più forsennato resta uno degli ossi più duri. Quelle estrazioni ricevono un punteggio di affidabilità più basso, così sai che vale la pena dare un’occhiata.

Didascalie e metadati: il livello di controprova

Sottotitoli, descrizioni dei video e dati della piattaforma formano il quarto e il quinto canale. Passano spesso per secondari, e invece hanno un ruolo decisivo come controprova che conferma e arricchisce i dati dei canali principali.

I sottotitoli generati in automatico sono in sostanza il riconoscimento vocale della piattaforma stessa. Sono imperfetti (quelli automatici di YouTube sono famosi per storpiare il lessico della cucina), ma offrono un secondo parere indipendente su che cosa sia stato detto. Quando la trascrizione di Pluck e i sottotitoli di YouTube concordano su “due cucchiai di salsa di soia”, l’affidabilità di quel dato sale. Quando si contraddicono, il sistema guarda il contesto e decide quale versione sia più probabile.

I sottotitoli caricati dal creator valgono di più, perché sono passati da una revisione a mano. Le descrizioni di YouTube contengono di frequente elenchi di ingredienti interi o parziali, riferimenti temporali o il link a un articolo con la ricetta scritta. Le didascalie di TikTok almeno nominano gli ingredienti principali o il nome del piatto. Tutto questo testo viene analizzato e messo a confronto con gli altri canali.

La fusione multimodale: dove i segnali si incontrano

È la parte che rende la pipeline più della somma dei suoi pezzi. Dopo che ogni canale è stato elaborato per conto suo, la fusione porta i cinque flussi allo stesso tavolo e scioglie le contraddizioni.

Un esempio concreto. Su YouTube qualcuno prepara un ragù di salsiccia e finocchietto. Ecco che cosa produce ciascun canale:

L’analisi dei fotogrammi riconosce salsiccia, cipolla, pelati, vino bianco e alcune spezie sul piano di lavoro. E vede un cucchiaio dosatore.
La trascrizione dell’audio cattura “un cucchiaio abbondante di semi di finocchio” e “mezzo bicchiere di vino bianco”.
L’OCR legge la sovrimpressione “1 cucchiaio di semi di finocchio”.
I sottotitoli automatici ne fanno “un cucchiaio di semi di fino a chiudere” (perché il lessico della cucina li manda regolarmente fuori strada).
La descrizione elenca “semi di finocchio” in una lista incompleta, senza dose.

La fusione ne ricava “1 cucchiaio di semi di finocchio”: la dose da audio e sovrimpressione, che coincidono, l’identità dell’ingrediente da audio, sovrimpressione e descrizione, cioè da tre fonti che concordano, mentre il sottotitolo sballato finisce nel cestino. Il suo errore non fa danni, perché gli altri canali lo mettono in minoranza.

Questa risoluzione avviene per ogni ingrediente, per ogni dose e per ogni passaggio della ricetta. Ogni dato riceve un punteggio in base a quanti canali hanno contribuito e a quanto erano d’accordo tra loro.

Il punteggio di affidabilità: sapere quello che non si sa

Non tutte le estrazioni sono ugualmente solide, e far finta del contrario eroderebbe la fiducia. Pluck assegna a ogni estrazione un punteggio di affidabilità, e quel punteggio ricade direttamente su quello che vedi.

Quando è alto, vuol dire che più canali si sono confermati a vicenda e che la ricetta è completa: il salvataggio è rapido e la revisione minima. Quando è più basso, ti viene mostrato su quali parti della ricetta il sistema è meno sicuro. Magari l’audio era disturbato e l’IA non sa se il creator abbia detto “un cucchiaino” o “un cucchiaio” di peperoncino. Quell’ingrediente viene segnalato perché tu lo verifichi.

Nel punteggio entra anche la completezza. Una ricetta con titolo, dodici ingredienti ben specificati e otto passaggi numerati sta messa meglio di una con titolo, quattro ingredienti vaghi e un unico paragrafo di istruzioni. Completezza e precisione pesano entrambe.

Perché ogni piattaforma vuole una strategia sua

Un video di YouTube da quarantacinque minuti e un TikTok da quindici secondi sono problemi radicalmente diversi, anche se in tutti e due c’è una ricetta. La pipeline di Pluck si adatta alla fonte in più modi.

I video di YouTube tendono a essere più lunghi, meglio raccontati e spesso corredati di testo nella descrizione. La trascrizione dell’audio è di solito il canale dominante. L’IA ha più materiale su cui lavorare, ma deve anche gestire i video con più ricette dentro (tipo “5 cene veloci per la settimana”) trovando i confini tra una e l’altra. Il procedimento nel dettaglio sta nella nostra guida per estrarre ricette dai video YouTube.

I video di TikTok sono corti, spesso rumorosi e appoggiati pesantemente sulle scritte a schermo. Qui l’OCR acquista peso. Sulla traccia audio gira di frequente una canzone del momento invece di un racconto, quindi da lì arriva poco segnale. L’analisi dei fotogrammi conta di più, perché in un formato così stretto ogni immagine porta proporzionalmente più informazione. E come abbiamo raccontato a lungo, la funzione di salvataggio di TikTok è inaffidabile quando si tratta di conservare ricette.

I Reels di Instagram stanno nel mezzo. Spesso mettono insieme racconto e sovrimpressioni, e nel campo della didascalia finisce regolarmente la ricetta intera in forma di testo. Quando il creator la scrive lì, quella diventa la fonte più affidabile in assoluto, e l’analisi del video serve da conferma più che da canale principale.

La scelta del modello: l’attrezzo giusto per il lavoro giusto

Pluck non si affida a un solo modello. Modelli diversi hanno punti di forza diversi, e la pipeline indirizza ogni estrazione al fornitore più adatto a quel tipo di contenuto.

Il sistema può usare, tra gli altri, Claude, GPT e Gemini. Alcuni modelli vedono meglio e reggono fotogrammi affollati, con più scritte sovrapposte a uno sfondo movimentato. Altri capiscono meglio la lingua parlata, anche con accenti marcati o rumore di fondo. Altri ancora brillano nella produzione di output strutturato e restituiscono un JSON pulito con dosi già normalizzate.

La decisione si basa sull’analisi del contenuto fatta nelle prime fasi della pipeline. Un video raccontato con voce pulita finisce a un modello forte sulla lingua. Un video di cucina muto con scritte fitte finisce a un modello con occhi migliori. Di questo smistamento non ti accorgi: ricevi semplicemente il risultato migliore che il sistema riesca a produrre.

Perché tutto questo conta quando devi fare la cena

Tutta questa ingegneria serve a uno scopo pratico e uno soltanto: hai visto una ricetta in un video e la vuoi cucinare. Non vuoi mettere in pausa e riavvolgere quaranta volte. Non vuoi fotografare lo schermo e perdere tutto nel rullino. E ricopiarla a mano nemmeno.

Proprio perché usa più canali, Pluck regge la realtà disordinata in cui le ricette vivono oggi in rete. Non belle impaginate su un blog di cucina con il pulsante per stampare, ma dette a raffica sopra una padella che sfrigola, sbattute a schermo per due secondi, scritte a metà in una didascalia e mai messe per iscritto da nessuna parte. L’IA guarda, ascolta, legge e incrocia perché tu non debba farlo. Quello che esce dall’altra parte è una scheda pulita: titolo, ingredienti, passaggi, tempi, porzioni. Lo stesso identico formato, che la fonte fosse una lezione di quarantacinque minuti su YouTube o un TikTok da quindici secondi. Come lavorano insieme tutti e cinque i canali lo trovi alla pagina come funziona Pluck.

È una tecnologia nuova per davvero. Due anni fa niente di tutto questo era possibile a un livello di qualità utile per cucinare. Oggi l’IA multimodale ha superato la linea che separa la demo di ricerca dall’attrezzo da cucina. E continua a migliorare: i modelli crescono, la taratura del punteggio si fa più precisa e la categoria di video che produce estrazioni incomplete si restringe a ogni aggiornamento.

Ti va di vedere l’analisi multimodale all’opera? Pluck è disponibile su iOS e Android. Scaricalo su Google Play. Incolla l’indirizzo di un video di cucina e guarda l’IA trasformarlo in una ricetta con cui puoi davvero metterti ai fornelli. Lo trovi anche su iOS.