Hur AI läser matlagningsvideor: en titt in i Plucks multimodala extraktion

Tänk dig ett trettio sekunder långt Reel på Instagram där någon gör pyttipanna. Text ligger i bild i två sekunder – “1 gul lök, tärnad” – medan rösten säger: “jag brukar ta en rejäl nypa timjan här också”. I bildtexten står inget recept, och något blogginlägg finns inte. Hela receptet existerar som ett nystan av ljud, rörlig bild och text som blinkar förbi.

Hur gör en AI ett strukturerat recept av det, med ingredienslista och numrerade steg?

Vår text om huruvida AI kan extrahera recept ur video ger översikten. Här går vi djupare, ner i tekniken bakom varje steg.

Vad det innebär för en AI att “titta” på en video

En människa tar in en matlagningsvideo på en gång. En AI måste göra samma sak uttalat och i etapper.

Plucks kedja samlar fem sorters signaler: videons bildrutor, ljudet (transkriberat till text), texten i bild, bildtexten och beskrivningen, samt inläggets metadata. Den lämnar dem till en multimodal AI-modell som läser dem tillsammans, löser motsägelser och fyller luckor.

Urval av bildrutor: att se köket

En tio minuter lång YouTube-video i 30 bilder per sekund består av 18 000 bildrutor, och de allra flesta är närmast identiska. Att köra alla kostar beräkningskraft och ger inte ett dugg extra information.

I stället plockar Pluck ut ett litet antal nyckelbilder, runt 8 till 10 per video. Med scendetektering hittar den ögonblicken där bilden ändras och informationstätheten är som högst: klippet från skärbrädan till spisen, titelskylten som åker in i bild. Den behåller också alltid en bild från de första sekunderna, där titelskyltar brukar ligga, och en från slutet, där många kreatörer visar en sammanfattning av receptet.

I varje bildruta letar AI:n efter ingredienser, mängder som går att läsa av på decilitermått, matskedar eller köksvåg, förpackningsetiketter, text i bild och matens tillstånd, från rå till upplagd på tallrik.

Bildanalysen är oumbärlig för tysta, ASMR-artade matlagningsvideor utan berättarröst och ibland utan text. Enbart utifrån bildrutorna kan AI:n känna igen de flesta ingredienserna och rekonstruera ordningen på arbetsmomenten.

Därför spelar bildfrekvens och upplösning roll

En YouTube-uppladdning i 4K ger skarp, läslig text i bild och förpackningar som går att känna igen. En lågupplöst TikTok som redan komprimerats genom tre plattformar kan ha text som knappt en människa tyder. Då får extraktionen luta sig mot ljudet och bildtexten i stället, och det syns i träffsäkerhetspoängen.

Taligenkänning: att lyssna på den som lagar

För de flesta matlagningsvideor är ljudspåret den rikaste kanalen. Folk pratar medan de lagar, och i det pratet ligger själva receptet: ingredienser, mängder, tider, temperaturer, handgrepp.

Med oredan i ett verkligt kök klarar sig dagens taligenkänning förvånansvärt bra. Modellerna filtrerar bort köksljud och bakgrundsmusik och hanterar pålitligt dialekt, snabbt tal och mummel som fick äldre system att gå bet.

AI:n tolkar också kökssvenska. Den förstår att “i med en klick smör” gör smör till en ingrediens, och att “salta och peppra efter smak” gör salt och peppar till ingredienser, trots att ingen mängd nämnts. Och den fångar sidokommentarer: “min mormor tog alltid ister här, men jag kör på smör” gör smör till ingrediensen i det här receptet, och bytet noteras.

Text i bild: att läsa det kreatörerna skriver

En stor del av de korta receptvideorna – TikTok, Instagram Reels, YouTube Shorts – använder text i bild som sitt främsta uttrycksmedel. Ett populärt ljudspår rullar medan kreatören lägger text ovanpå bilden, och receptet lever helt och hållet i det textlagret.

Pluck kör inget separat steg för teckenigenkänning. Bildmodellen läser texten i varje nyckelbild som en människa skulle göra, med layout och sammanhang. Stor text högt upp i bild direkt i början: sannolikt receptets titel. Text som blinkar förbi just när en ingrediens tillsätts: sannolikt en mängd. Text som ligger kvar över flera klipp: sannolikt en löpande ingredienslista.

Tidpunkten spelar också roll. En textremsa som dyker upp i exakt det ögonblick då mjölk hälls i en bunke knyts till den handlingen, så att ett exakt “2 dl standardmjölk” i bild kompletterar ett vagt “häll i lite mjölk” i ljudet.

Problemet med 300 millisekunder

Vissa klipper så att texten bara står 300 millisekunder i bild. Scendetekteringen fångar många textbyten, eftersom ny text ofta kommer med ett klipp, men ett urval av nyckelbilder kan ändå missa en blixt mellan dem. Blir receptet ofullständigt sjunker träffsäkerhetspoängen, så att du vet att det är värt en kontroll.

Undertexter och metadata: lagret som stämmer av

Bildtexten, videobeskrivningen och inläggets metadata utgör den fjärde och femte signalen: en kontrollinstans som bekräftar och berikar det som video och ljud säger.

De kommer också först. Innan något laddas ner läser Pluck bildtexten. Har kreatören redan skrivit ut hela receptet där extraherar Pluck direkt ur den och hoppar över de långsammare stegen med nedladdning, bildrutor och transkribering. Först när bildtexten saknar receptet, eller bara har en del av det, körs hela videoanalysen.

Pluck transkriberar ljudet själv i stället för att lita på plattformarnas automatiska undertexter, som är ökända för att förvanska köksord. YouTube-beskrivningar innehåller ofta hela eller halva ingredienslistor, tidsmärken eller länkar till det nedskrivna receptet, och TikTok-bildtexter nämner ibland de viktigaste ingredienserna eller rättens namn.

Sammanvägningen: där signalerna smälter ihop

AI-modellen ser nyckelbilderna, transkriptet, bildtexten och metadatan samtidigt, och löser upp motsägelserna mellan dem för varje ingrediens, varje mängd och varje steg. Säg att någon lagar kycklinggryta med curry på YouTube:

Bildanalysen hittar kyckling, gul lök, paprika, kokosmjölk och flera kryddor på bänken.
Taligenkänningen hör “ungefär en matsked curry”.
Teckenigenkänningen läser texten i bild: “1 msk curry”.
Beskrivningen räknar upp “curry” i en ofullständig ingredienslista, utan mängd.

Modellen landar i “1 msk curry”: mängden från texten i bild och ljudet, som är eniga, och ingrediensen från ljud, text i bild och beskrivning, alltså tre samstämmiga källor. Hade transkriptet hört fel på “curry” hade de andra signalerna röstat ner det.

Träffsäkerhetspoängen: att veta vad man inte vet

Alla extraktioner är inte lika pålitliga, så Pluck sätter en träffsäkerhetspoäng på var och en, och den visas som hög, medel eller låg säkerhet på granskningsskärmen. Är poängen hög har signalerna stämt överens och receptet är komplett; då går det snabbt att spara utan större genomläsning. En låg poäng kommer med en uppmaning att granska innan du sparar och jämföra ingredienslistan med videon. Alla fält går att redigera.

I poängen vägs också fullständighet och precision in. Ett recept med titel, tolv välangivna ingredienser och åtta numrerade steg står stadigare än ett med titel, fyra luddiga ingredienser och ett enda stycke instruktioner.

Därför behöver varje plattform sin egen strategi

YouTube-videor är längre, bättre berättade och har ofta text i beskrivningen. Taligenkänningen är oftast den ledande kanalen. En brasklapp: Pluck extraherar i dag ett recept per video, så en samlingsvideo med “5 snabba vardagsmiddagar” ger dig ett recept, inte fem. Pluck hanterar videor på upp till 30 minuter. Hur det går till i detalj står i vår guide till att extrahera recept ur YouTube-videor.

TikTok-videor är korta, ofta högljudda och lutar sig tungt mot text i bild, så här väger teckenigenkänningen tyngre. På ljudspåret ligger ofta en populär låt i stället för en berättarröst, och därifrån kommer alltså mindre signal, medan varje bildruta bär proportionellt mer. Och som vi skrivit om utförligt är TikToks egen sparfunktion opålitlig för långsiktig förvaring.

Instagram Reels ligger däremellan. Berättarröst och text i bild kombineras ofta, och i bildtextfältet står regelbundet hela receptet i löptext. Då blir bildtexten den pålitligaste källan, och analysen av videon får rollen som bekräftelse i stället för huvudkälla.

Modellval: rätt verktyg till rätt uppgift

Pluck lutar sig inte mot en enda modell. Kedjan skickar varje extraktion vidare utifrån vilken sorts indata det är, med modeller från Anthropic (Claude), OpenAI (GPT, plus Whisper för att transkribera ljud) och Google (Gemini). En webbsida, ett foto och en video är olika jobb, och enkla, välstrukturerade sidor kan gå till en snabbare modell medan svårare källor får en mer kapabel. Varje jobb har också reservmodeller från andra leverantörer, så om en leverantör är långsam eller nere faller extraktionen tillbaka i stället för att misslyckas.

Varför det spelar roll när du ska laga middag

Allt det här tjänar ett enda praktiskt syfte: du har sett ett recept i en video och vill laga det utan att spola tillbaka fyrtio gånger, utan att ta en skärmdump och tappa bort den i kamerarullen och utan att skriva av det.

Ut kommer ett rent receptkort: titel, ingredienser, steg, tider, portioner. Formatet är detsamma vare sig källan var en 30 minuter lång masterclass på YouTube, ett TikTok på 15 sekunder eller ett bildspel på Instagram där receptet är utspritt över bilderna. Alla fem vägarna går vi igenom på Så fungerar Pluck.

Ett strukturerat recept är också det som får resten av appen att fungera. En sparad video kan gå in i din måltidsplan, upp på en inköpslista där dubbletter slås ihop och sorteras efter avdelning, och in i matlagningsläget, där varje steg visar ingredienserna det använder. Samma struktur är det som låter Fyll min vecka välja bland dina sparade recept och skafferiskanningen matcha ett foto av din kyl mot deras ingredienser. Långa videor bearbetas i bakgrunden, och du får en avisering när receptet är klart.

Pluck är inte längre ensam om att läsa matlagningsvideor. ReciMe, Honeydew och Deglaze transkriberar också videons ljud, och Deglaze säger att den dessutom läser text i bild, bildruta för bildruta. Många andra, däribland Mela och Pestle, läser bara bildtexten. Jämför du appar visar vår översikt över receptappar vem som gör vad.

För två år sedan gick inget av det här att göra på en nivå som dög i ett kök. Och det fortsätter framåt: modellerna växer, träffsäkerhetspoängen kalibreras bättre, och gruppen videor som lämnar ifrån sig ofullständiga resultat krymper för varje uppdatering.

Vill du se den multimodala extraktionen i arbete? Pluck finns för iOS och Android. Hämta appen på Google Play. Finns även för iOS.