Come l'IA analizza i video di cucina: dentro la pipeline multimodale di Pluck

Immagina un Reel di trenta secondi in cui qualcuno prepara le uova in purgatorio. L’inquadratura scende dentro una padella di ferro. Una mano rompe due uova nel pomodoro che sobbolle. Per due secondi compare una scritta a schermo, “1 barattolo di pelati”, mentre nell’audio si sente: “io ci metto sempre mezzo cucchiaino di peperoncino, ma regolatevi voi”. Nella didascalia la ricetta non c’è. Un articolo di blog nemmeno. La ricetta intera esiste come groviglio di voce, immagini e scritte che passano in un lampo.

Come fa un’IA a ricavarne una ricetta strutturata, con l’elenco degli ingredienti e i passaggi numerati?

È la domanda attorno a cui gira tutto il lavoro di Pluck, e la risposta sta in una pipeline più elaborata di quanto quasi tutti immaginino. Se hai già letto il nostro articolo su se l’IA riesca davvero a ricavare una ricetta da un video, hai il quadro generale. Qui scendiamo di un piano: le scelte tecniche, i compromessi tra un canale e l’altro, i conti dietro il punteggio di affidabilità e le ragioni per cui ogni piattaforma richiede una strategia diversa.

Che cosa vuol dire “guardare” un video, per un’IA

Quando guardi un video di cucina, tutto ti arriva insieme. Vedi gli ingredienti, ascolti le istruzioni, leggi la scritta in sovrimpressione e intanto monti la ricetta nella tua testa. Il cervello fonde quelle informazioni senza che tu ci pensi.

L’IA deve fare la stessa cosa, ma dichiaratamente e per tappe. La pipeline di Pluck raccoglie da un video di cucina cinque tipi di segnale, poi li consegna a un modello di IA multimodale che li legge insieme, scioglie le contraddizioni e riempie i vuoti. I cinque segnali sono: i fotogrammi del video, l’audio (trascritto in testo), il testo a schermo, la didascalia con la descrizione e i metadati del post.

Ogni canale ha i suoi punti di forza. Ogni canale sbaglia a modo suo. La forza sta nel metterli insieme.

Il campionamento dei fotogrammi: vedere la cucina

L’IA non elabora tutti i fotogrammi di un video. Un filmato di dieci minuti su YouTube a trenta fotogrammi al secondo ne contiene diciottomila, e la stragrande maggioranza sono quasi identici: la camera ferma sul cavalletto che guarda una pentola sobbollire. Elaborarli tutti brucia calcolo e non aggiunge un solo segnale.

Pluck sceglie invece un piccolo gruppo di fotogrammi chiave, più o meno da 8 a 10 per video. Con il rilevamento delle scene trova i momenti in cui l’immagine cambia: lo stacco dal tagliere ai fornelli, lo zoom sul misurino, il cartello con il titolo che entra in scena. È in quei passaggi che la densità di informazione è più alta. In più tiene sempre un fotogramma dei primi secondi, dove di solito sta il titolo, e uno della fine, dove molti creator mostrano il riepilogo della ricetta.

Che cosa cerca l’IA dentro un fotogramma campionato? Diverse cose insieme. La disposizione degli ingredienti: un tagliere con verdure riconoscibili. Le misure leggibili su misurini, cucchiai o bilance da cucina. Le etichette delle confezioni, che identificano un prodotto preciso. Le scritte che il creator ha aggiunto in sovrimpressione. Lo stato del cibo nelle varie fasi: crudo, rosolato in padella, impiattato. Ognuna di queste osservazioni diventa un dato che confluisce nella ricetta finale.

L’analisi dei fotogrammi è indispensabile per una categoria precisa di contenuti: il video di cucina muto. Quelle clip in stile ASMR, molto diffuse su YouTube e su Instagram, mostrano qualcuno che cucina in totale silenzio. Nessun racconto. A volte nemmeno una scritta. Solo mani, ingredienti e gesti. Senza l’analisi dei fotogrammi quei video sono muri di gomma. Con essa, l’IA riconosce quasi tutti gli ingredienti e ricostruisce l’ordine della preparazione basandosi soltanto su quello che si vede.

Perché contano fotogrammi al secondo e risoluzione

Non tutte le fonti valgono uguale. Un caricamento in 4K su YouTube consegna scritte nitide e confezioni leggibili. Un TikTok a bassa risoluzione, compresso passando per tre piattaforme, può avere un testo che fatica a decifrare perfino un occhio umano. Quando il testo di un fotogramma non si legge in modo affidabile, l’estrazione deve appoggiarsi all’audio e alla didascalia, e il punteggio di affidabilità ne tiene conto.

La trascrizione dell’audio: ascoltare chi cucina

Per la maggior parte dei video di cucina la traccia audio è il canale più ricco di tutti. Si racconta mentre si cucina, e in quel racconto c’è il cuore della ricetta: ingredienti, dosi, tempi, temperature, gesti. “Duecentocinquanta grammi di farina 00, setacciata.” “Rosola il pollo a fuoco medio-alto quattro minuti circa per lato.” “Adesso ci metto un cucchiaino di paprika affumicata; se hai solo quella dolce va benissimo lo stesso.”

Con il disordine di una cucina vera il riconoscimento vocale di oggi se la cava sorprendentemente bene. L’olio che sfrigola, l’acqua che scorre, le pentole che sbattono, la musica di sottofondo: i modelli filtrano tutto e isolano la voce. Accenti marcati, parlata veloce e parole mangiate, che avrebbero fatto capitolare i sistemi di qualche anno fa, oggi non sono un ostacolo.

Ma l’IA non si limita a trascrivere parole: interpreta il linguaggio della cucina. Sa che “buttaci dentro una noce di burro” mette il burro tra gli ingredienti e non tra i gesti. Sa che “lascialo andare una ventina di minuti” è un’indicazione di tempo. Riconosce che “aggiusta di sale e pepe” rende sale e pepe due ingredienti, anche se nessuno ha detto quanti.

Anche le frasi buttate lì di sfuggita portano informazione vera. Se qualcuno dice “mia nonna qui ci metteva lo strutto, io uso l’olio”, l’IA segna correttamente l’olio come ingrediente usato in questa ricetta e si tiene da parte il contesto della sostituzione.

Il testo a schermo: leggere quello che i creator scrivono

Una fetta enorme dei video brevi di ricette, su TikTok, nei Reels di Instagram e negli Shorts di YouTube, usa le scritte in sovrimpressione come mezzo principale di comunicazione. Sotto suona un audio del momento mentre il creator impila il testo sull’immagine: “250 g di farina”, “100 g di zucchero”, “180 °C per 25 minuti”. La ricetta vive per intero in quel livello di testo.

Pluck non fa un passaggio separato di riconoscimento dei caratteri: il modello di visione legge il testo di ogni fotogramma chiave come farebbe una persona, tenendo conto di impaginazione e contesto. Una scritta grande in alto nei primi secondi è quasi certamente il titolo. Una scritta che lampeggia mentre un ingrediente entra in scena è quasi certamente una dose. Una scritta che resta ferma attraverso più stacchi è probabilmente l’elenco degli ingredienti che scorre insieme al video.

La dimensione temporale è decisiva. Una sovrimpressione che compare nell’istante esatto in cui il latte finisce nella ciotola viene legata a quel gesto. Se la scritta dice “200 ml di latte intero” e l’audio dice soltanto “adesso aggiungi il latte”, l’IA prende la lettura più precisa dall’immagine e dall’audio la conferma che il latte entra proprio lì.

Il problema dei trecento millesimi

C’è chi monta in modo che una scritta resti a schermo trecento millesimi di secondo, appena il tempo perché un occhio umano la sfiori, figurarsi elaborarla per bene. Il rilevamento delle scene ne intercetta parecchie, perché spesso una scritta nuova arriva insieme a uno stacco, ma un gruppo di fotogrammi chiave può comunque lasciarsi sfuggire un lampo che cade tra l’uno e l’altro. Il lampeggio più forsennato resta uno degli ossi più duri. Quando la ricetta esce incompleta, il punteggio di affidabilità scende, così sai che vale la pena dare un’occhiata.

Didascalie e metadati: il livello di controprova

La didascalia, la descrizione del video e i metadati del post formano il quarto e il quinto segnale. Passano spesso per secondari, e invece hanno un ruolo decisivo come controprova che conferma e arricchisce quello che dicono video e audio.

E vengono anche per primi. Prima di scaricare qualsiasi cosa, Pluck legge la didascalia. Se il creator ci ha già scritto la ricetta completa, Pluck la estrae direttamente da lì e salta i passaggi più lenti: download, fotogrammi e trascrizione. L’analisi completa del video parte solo quando nella didascalia la ricetta manca, o ce n’è solo un pezzo.

L’audio Pluck lo trascrive da sé, invece di affidarsi ai sottotitoli automatici delle piattaforme, famosi per storpiare il lessico della cucina. Le descrizioni di YouTube contengono di frequente elenchi di ingredienti interi o parziali, riferimenti temporali o il link a un articolo con la ricetta scritta. Le didascalie di TikTok almeno nominano gli ingredienti principali o il nome del piatto. Tutto questo testo viene letto insieme agli altri segnali.

La fusione multimodale: dove i segnali si incontrano

È la parte che rende la pipeline più della somma dei suoi pezzi. Il modello di IA vede insieme i fotogrammi chiave, la trascrizione, la didascalia e i metadati, e scioglie le contraddizioni tra l’uno e l’altro.

Un esempio concreto. Su YouTube qualcuno prepara un ragù di salsiccia e finocchietto. Ecco che cosa produce ciascun canale:

L’analisi dei fotogrammi riconosce salsiccia, cipolla, pelati, vino bianco e alcune spezie sul piano di lavoro. E vede un cucchiaio dosatore.
La trascrizione dell’audio cattura “un cucchiaio abbondante di semi di finocchio” e “mezzo bicchiere di vino bianco”.
L’OCR legge la sovrimpressione “1 cucchiaio di semi di finocchio”.
La descrizione elenca “semi di finocchio” in una lista incompleta, senza dose.

Il modello ne ricava “1 cucchiaio di semi di finocchio”: la dose dal testo a schermo e dall’audio, che coincidono, l’identità dell’ingrediente da audio, testo a schermo e descrizione, cioè da tre fonti che concordano. Se la trascrizione avesse capito male “semi di finocchio”, gli altri segnali l’avrebbero messa in minoranza.

Questa risoluzione avviene per ogni ingrediente, per ogni dose e per ogni passaggio della ricetta.

Il punteggio di affidabilità: sapere quello che non si sa

Non tutte le estrazioni sono ugualmente solide, e far finta del contrario eroderebbe la fiducia. Pluck assegna a ogni estrazione un punteggio di affidabilità, e quel punteggio ricade direttamente su quello che vedi.

Nella schermata di revisione il punteggio compare come affidabilità alta, media o bassa. Quando è alto, vuol dire che i segnali erano d’accordo e che la ricetta è completa: il salvataggio è rapido e la revisione minima. Un punteggio basso arriva con l’invito a ricontrollare prima di salvare. Magari l’audio era disturbato e l’IA non era sicura se il creator avesse detto “un cucchiaino” o “un cucchiaio” di peperoncino. È il momento di confrontare l’elenco degli ingredienti con il video. Ogni campo si può modificare.

Nel punteggio entra anche la completezza. Una ricetta con titolo, dodici ingredienti ben specificati e otto passaggi numerati sta messa meglio di una con titolo, quattro ingredienti vaghi e un unico paragrafo di istruzioni. Completezza e precisione pesano entrambe.

Perché ogni piattaforma vuole una strategia sua

Un video di YouTube da trenta minuti e un TikTok da quindici secondi sono problemi radicalmente diversi, anche se in tutti e due c’è una ricetta. La pipeline di Pluck si adatta alla fonte in più modi.

I video di YouTube tendono a essere più lunghi, meglio raccontati e spesso corredati di testo nella descrizione. La trascrizione dell’audio è di solito il canale dominante. L’IA ha più materiale su cui lavorare. Una precisazione: oggi Pluck estrae una ricetta per video, quindi una raccolta tipo “5 cene veloci per la settimana” ti dà una ricetta, non cinque. Pluck gestisce video fino a 30 minuti. Il procedimento nel dettaglio sta nella nostra guida per estrarre ricette dai video YouTube.

I video di TikTok sono corti, spesso rumorosi e appoggiati pesantemente sulle scritte a schermo. Qui l’OCR acquista peso. Sulla traccia audio gira di frequente una canzone del momento invece di un racconto, quindi da lì arriva poco segnale. L’analisi dei fotogrammi conta di più, perché in un formato così stretto ogni immagine porta proporzionalmente più informazione. E come abbiamo raccontato a lungo, la funzione di salvataggio di TikTok è inaffidabile quando si tratta di conservare ricette.

I Reels di Instagram stanno nel mezzo. Spesso mettono insieme racconto e sovrimpressioni, e nel campo della didascalia finisce regolarmente la ricetta intera in forma di testo. Quando il creator la scrive lì, quella diventa la fonte più affidabile in assoluto, e l’analisi del video serve da conferma più che da canale principale.

La scelta del modello: l’attrezzo giusto per il lavoro giusto

Pluck non si affida a un solo modello. Modelli diversi hanno punti di forza diversi, e la pipeline smista ogni estrazione in base al tipo di materiale che riceve.

Il sistema usa modelli di Anthropic (Claude), OpenAI (GPT, più Whisper per trascrivere l’audio) e Google (Gemini). Una pagina web, una foto e un video sono lavori diversi: le pagine semplici e ben strutturate possono andare a un modello più veloce, le fonti più difficili a uno più capace. Ogni lavoro ha anche modelli di riserva di altri fornitori, così se un fornitore è lento o non risponde, l’estrazione passa al successivo invece di fallire. Di questo smistamento non ti accorgi: ricevi semplicemente la ricetta.

Perché tutto questo conta quando devi fare la cena

Tutta questa ingegneria serve a uno scopo pratico e uno soltanto: hai visto una ricetta in un video e la vuoi cucinare. Non vuoi mettere in pausa e riavvolgere quaranta volte. Non vuoi fotografare lo schermo e perdere tutto nel rullino. E ricopiarla a mano nemmeno.

Proprio perché usa più canali, Pluck regge la realtà disordinata in cui le ricette vivono oggi in rete. Non belle impaginate su un blog di cucina con il pulsante per stampare, ma dette a raffica sopra una padella che sfrigola, sbattute a schermo per due secondi, scritte a metà in una didascalia e mai messe per iscritto da nessuna parte. L’IA guarda, ascolta, legge e incrocia perché tu non debba farlo. Quello che esce dall’altra parte è una scheda pulita: titolo, ingredienti, passaggi, tempi, porzioni. Lo stesso identico formato, che la fonte fosse una lezione di trenta minuti su YouTube, un TikTok da quindici secondi o un carosello di foto di Instagram con la ricetta sparsa tra le slide. Come lavorano insieme tutti e cinque i canali lo trovi alla pagina come funziona Pluck.

Una ricetta strutturata è anche quello che fa funzionare il resto dell’app. Un video salvato può finire nel tuo piano dei pasti, in una lista della spesa dove gli ingredienti doppi vengono uniti e ordinati per reparto, e nella modalità cucina, dove ogni passaggio mostra gli ingredienti che usa. I video lunghi vengono elaborati in background e ti arriva una notifica quando la ricetta è pronta.

Pluck non è più l’unica app che legge i video di cucina. Anche ReciMe, Honeydew e Deglaze trascrivono l’audio, e Deglaze dichiara di leggere pure il testo a schermo fotogramma per fotogramma. Molte altre, tra cui Mela e Pestle, leggono solo la didascalia. Se stai confrontando, la pagina sulle migliori app di ricette mette in fila chi fa che cosa.

È una tecnologia nuova per davvero. Due anni fa niente di tutto questo era possibile a un livello di qualità utile per cucinare. Oggi l’IA multimodale ha superato la linea che separa la demo di ricerca dall’attrezzo da cucina. E continua a migliorare: i modelli crescono, la taratura del punteggio si fa più precisa e la categoria di video che produce estrazioni incomplete si restringe.

Ti va di vedere l’analisi multimodale all’opera? Pluck è disponibile su iOS e Android. Scaricalo su Google Play. Incolla l’indirizzo di un video di cucina e guarda l’IA trasformarlo in una ricetta con cui puoi davvero metterti ai fornelli. Lo trovi anche su iOS.