Hur AI läser matlagningsvideor: en titt in i Plucks multimodala extraktion

Tänk dig ett trettio sekunder långt Reel på Instagram där någon gör pyttipanna. Kameran tippar ner i en gjutjärnspanna. En hand knäcker två ägg rakt ner i det som fräser. Text ligger i bild i två sekunder – “1 gul lök, tärnad” – medan rösten säger: “jag brukar ta en rejäl nypa timjan här också”. I bildtexten står inget recept. Något blogginlägg finns inte. Hela receptet existerar som ett nystan av ljud, rörlig bild och text som blinkar förbi.

Hur gör en AI ett strukturerat recept av det, med ingredienslista och numrerade steg?

Det är frågan allt hos Pluck kretsar kring, och svaret ligger i en kedja som är mer omständlig än de flesta anar. Har du läst vår text om huruvida AI kan extrahera recept ur video har du översikten. Här går vi ett steg djupare: ner i de tekniska avvägningarna, skillnaderna mellan de olika vägarna, räkningen bakom träffsäkerhetspoängen och skälen till att varje plattform kräver sin egen strategi.

Vad det innebär för en AI att “titta” på en video

När en människa tittar på en matlagningsvideo händer allt samtidigt. Du ser ingredienserna, hör instruktionerna, läser texten i bild och sätter ihop receptet i huvudet medan det pågår. Hjärnan väver samman intrycken utan att du behöver tänka på det.

En AI måste göra samma sak, fast uttalat och i etapper. Plucks kedja samlar fem sorters signaler ur en matlagningsvideo och lämnar dem sedan till en multimodal AI-modell som läser dem tillsammans, löser motsägelser och fyller luckor. De fem signalerna: videons bildrutor, ljudet (transkriberat till text), texten i bild, bildtexten och beskrivningen, samt inläggets metadata.

Varje kanal har sina styrkor. Varje kanal fallerar på sitt eget sätt. Kraften ligger i kombinationen.

Urval av bildrutor: att se köket

AI:n bearbetar inte varenda bildruta. En tio minuter lång YouTube-video i 30 bilder per sekund består av 18 000 bildrutor, och de allra flesta är närmast identiska: kameran står på stativ och tittar på en gryta som puttrar. Att köra alla kostar beräkningskraft och ger inte ett dugg extra information.

I stället plockar Pluck ut ett litet antal nyckelbilder, runt 8 till 10 per video. Med scendetektering hittar den ögonblicken där bilden ändras: klippet från skärbrädan till spisen, inzoomningen på decilitermåttet, titelskylten som åker in i bild. Vid de övergångarna är informationstätheten som högst. Den behåller också alltid en bild från de första sekunderna, där titelskyltar brukar ligga, och en från slutet, där många kreatörer visar en sammanfattning av receptet.

Vad letar AI:n efter i en utvald bildruta? Flera saker samtidigt. Hur ingredienserna ligger: en skärbräda med grönsaker som går att artbestämma. Mängder som går att läsa av på decilitermått, matskedar eller köksvåg. Förpackningar som avslöjar en bestämd vara. Text som någon lagt ovanpå bilden. Matens tillstånd i olika skeden: rå, brynt i pannan, upplagd på tallrik. Varje sådan iakttagelse blir en datapunkt som går in i det färdiga receptet.

Oumbärlig är bildanalysen för en särskild sorts innehåll: den tysta matlagningsvideon. De där ASMR-artade klippen, populära på både YouTube och Instagram, visar någon som lagar mat under fullständig tystnad. Ingen berättarröst. Ibland ingen text. Bara händer, ingredienser och handgrepp. Utan bildanalys är sådana videor helt ogenomträngliga. Med den känner AI:n igen de flesta ingredienserna och rekonstruerar ordningen på arbetsmomenten enbart utifrån det som syns.

Därför spelar bildfrekvens och upplösning roll

Alla källor är inte lika goda. En YouTube-uppladdning i 4K ger skarp, läslig text i bild och förpackningar som går att känna igen. En lågupplöst TikTok som redan komprimerats genom tre plattformar kan ha text som knappt en människa tyder. När texten i en bildruta inte går att läsa säkert får extraktionen luta sig mot ljudet och bildtexten i stället, och det syns i träffsäkerhetspoängen.

Taligenkänning: att lyssna på den som lagar

För de flesta matlagningsvideor är ljudspåret den rikaste kanalen. Folk pratar medan de lagar, och i det pratet ligger själva receptet: ingredienser, mängder, tider, temperaturer, handgrepp. “Tre deciliter vetemjöl, siktat.” “Bryn kycklingen på ganska hög värme, ungefär fyra minuter per sida.” “Nu åker det i en tesked rökt paprikapulver. Vanligt går lika bra om det är det du har hemma.”

Med oredan i ett verkligt kök klarar sig dagens taligenkänning förvånansvärt bra. Fräsande olja, rinnande vatten, skramlande kastruller, musik i bakgrunden: modellerna filtrerar bort det och lyfter fram rösten. Dialekt, talhastighet och mummel som fick äldre system att gå bet är inget hinder för den nuvarande generationen.

Men det handlar inte bara om att skriva av orden, utan om att tolka kökssvenska. Systemet förstår att “i med en klick smör” gör smör till en ingrediens och inte till ett handgrepp. Det vet att “låt det stå en tjugo minuter” är en tidsangivelse. Det inser att “salta och peppra efter smak” gör salt och peppar till ingredienser, trots att ingen mängd nämnts.

Även sidokommentarer bär på riktig information. Säger någon “min mormor tog alltid ister här, men jag kör på smör” för AI:n korrekt in smör som den ingrediens som används, och noterar sammanhanget kring bytet.

Text i bild: att läsa det kreatörerna skriver

En stor del av de korta receptvideorna – TikTok, Instagram Reels, YouTube Shorts – använder text i bild som sitt främsta uttrycksmedel. Ett populärt ljudspår rullar medan kreatören lägger text ovanpå bilden: “2 dl vetemjöl”, “1 dl socker”, “225 grader i 25 min”. Receptet lever helt och hållet i textlagret.

Pluck kör inget separat steg för teckenigenkänning. Bildmodellen läser texten i varje nyckelbild som en människa skulle göra, med layout och sammanhang. Stor text högt upp i bild direkt i början: sannolikt receptets titel. Text som blinkar förbi just när en ingrediens tillsätts: sannolikt en mängd. Text som ligger kvar över flera klipp: sannolikt en löpande ingredienslista.

Tidsdimensionen är avgörande. En textremsa som dyker upp i exakt det ögonblick då mjölk hälls i en bunke knyts till den handlingen. Står det “2 dl standardmjölk” i bild medan ljudet bara säger “häll i lite mjölk” tar AI:n den exaktare avläsningen från bilden och bekräftelsen från ljudet att mjölken hör hemma i just det steget.

Problemet med 300 millisekunder

Vissa klipper så att texten står 300 millisekunder i bild – knappt nog för ett mänskligt öga, än mindre för en ordentlig bearbetning. Scendetekteringen fångar många textbyten, eftersom ny text ofta kommer med ett klipp, men ett urval av nyckelbilder kan ändå missa en blixt mellan dem. Blixtsnabb text är fortfarande en av de segare nötterna. Blir receptet ofullständigt sjunker träffsäkerhetspoängen, så att du vet att det är värt en kontroll.

Undertexter och metadata: lagret som stämmer av

Bildtexten, videobeskrivningen och inläggets metadata utgör den fjärde och femte signalen. De brukar räknas som andrahandskällor, men de spelar en avgörande roll som kontrollinstans som bekräftar och berikar det som video och ljud säger.

De kommer också först. Innan något laddas ner läser Pluck bildtexten. Har kreatören redan skrivit ut hela receptet där extraherar Pluck direkt ur den och hoppar över de långsammare stegen med nedladdning, bildrutor och transkribering. Först när bildtexten saknar receptet, eller bara har en del av det, körs hela videoanalysen.

Pluck transkriberar ljudet själv i stället för att lita på plattformarnas automatiska undertexter, som är ökända för att förvanska köksord. YouTube-beskrivningar innehåller ofta hela eller halva ingredienslistor, tidsmärken eller länkar till ett blogginlägg med receptet nedskrivet. TikTok-bildtexter nämner åtminstone de viktigaste ingredienserna eller rättens namn. All den texten läses tillsammans med de övriga signalerna.

Sammanvägningen: där signalerna smälter ihop

Det är det här steget som gör kedjan till mer än summan av sina delar. AI-modellen ser nyckelbilderna, transkriptet, bildtexten och metadatan samtidigt, och löser upp motsägelserna mellan dem.

Ett konkret exempel. Någon lagar kycklinggryta med curry på YouTube. Så här ser kanalerna ut:

Bildanalysen hittar kyckling, gul lök, paprika, kokosmjölk och flera kryddor på bänken. Och en måttsked.
Taligenkänningen hör “ungefär en matsked curry” och “fem deciliter kokosmjölk”.
Teckenigenkänningen läser texten i bild: “1 msk curry”.
Beskrivningen räknar upp “curry” i en ofullständig ingredienslista, utan mängd.

Modellen landar i “1 msk curry”: mängden från texten i bild och ljudet, som är eniga, och ingrediensen från ljud, text i bild och beskrivning, alltså tre samstämmiga källor. Hade transkriptet hört fel på “curry” hade de andra signalerna röstat ner det.

Den här upplösningen sker för varje ingrediens, varje mängd och varje steg i receptet.

Träffsäkerhetspoängen: att veta vad man inte vet

Alla extraktioner är inte lika pålitliga, och att låtsas något annat skulle skada förtroendet. Pluck sätter en träffsäkerhetspoäng på varje extraktion, och den påverkar direkt vad du får se.

Poängen visas som hög, medel eller låg säkerhet på granskningsskärmen. Är poängen hög har signalerna stämt överens och receptet är komplett; då går det snabbt att spara utan större genomläsning. En låg poäng kommer med en uppmaning att granska innan du sparar. Kanske var ljudet brusigt och AI:n var inte säker på om det var “en tesked” eller “en matsked” cayennepeppar. Då är det läge att jämföra ingredienslistan med videon. Alla fält går att redigera.

I poängen vägs också fullständigheten in. Ett recept med titel, tolv välangivna ingredienser och åtta numrerade steg står stadigare än ett med titel, fyra luddiga ingredienser och ett enda stycke instruktioner. Både fullständighet och precision räknas.

Därför behöver varje plattform sin egen strategi

En 30 minuter lång YouTube-video och ett 15 sekunder långt TikTok är i grunden olika uppgifter, trots att det ligger ett recept i båda. Plucks kedja ställer om sig efter källan på flera sätt.

YouTube-videor är längre, bättre berättade och har ofta text i beskrivningen. Taligenkänningen är oftast den ledande kanalen. AI:n har mer material att gå på. En brasklapp: Pluck extraherar i dag ett recept per video, så en samlingsvideo med “5 snabba vardagsmiddagar” ger dig ett recept, inte fem. Pluck hanterar videor på upp till 30 minuter. Hur det går till i detalj står i vår guide till att extrahera recept ur YouTube-videor.

TikTok-videor är korta, ofta högljudda och lutar sig tungt mot text i bild. Här väger teckenigenkänningen tyngre. På ljudspåret ligger ofta en populär låt i stället för en berättarröst, och därifrån kommer alltså mindre signal. Bildanalysen väger mer, eftersom varje bildruta bär proportionellt mer i det knappa formatet. Och som vi skrivit om utförligt är TikToks egen sparfunktion opålitlig för långsiktig förvaring.

Instagram Reels ligger däremellan. Berättarröst och text i bild kombineras ofta, och i bildtextfältet står regelbundet hela receptet i löptext. Skriver kreatören ut det där blir den källan den pålitligaste, och analysen av videon får rollen som bekräftelse i stället för huvudkälla.

Modellval: rätt verktyg till rätt uppgift

Pluck lutar sig inte mot en enda modell. Olika modeller har olika styrkor, och kedjan skickar varje extraktion vidare utifrån vilken sorts indata det är.

Systemet använder modeller från Anthropic (Claude), OpenAI (GPT, plus Whisper för att transkribera ljud) och Google (Gemini). En webbsida, ett foto och en video är olika jobb, och enkla, välstrukturerade sidor kan gå till en snabbare modell medan svårare källor får en mer kapabel. Varje jobb har också reservmodeller från andra leverantörer, så om en leverantör är långsam eller nere faller extraktionen tillbaka i stället för att misslyckas. Av den fördelningen märker du ingenting; du får helt enkelt receptet.

Varför det spelar roll när du ska laga middag

Allt det här tjänar ett enda praktiskt syfte: du har sett ett recept i en video och vill laga det. Du vill inte pausa och spola tillbaka fyrtio gånger. Du vill inte ta en skärmdump och tappa bort den i kamerarullen. Och skriva av den vill du inte heller.

Eftersom kedjan använder flera kanaler klarar Pluck den ostädade verklighet som recept faktiskt lever i på nätet i dag. Alltså inte prydligt satta på en matblogg med utskriftsknapp, utan snabbt uttalade över fräsande pannor, blinkade förbi i två sekunder, halvt nedskrivna i en bildtext och aldrig ordentligt dokumenterade någonstans. AI:n ser, hör, läser och stämmer av så att du slipper. Ut kommer ett rent receptkort: titel, ingredienser, steg, tider, portioner. Samma format vare sig källan var en 30 minuter lång masterclass på YouTube, ett TikTok på 15 sekunder eller ett bildspel på Instagram där receptet är utspritt över bilderna. Hur alla fem vägarna samverkar går vi igenom på Så fungerar Pluck.

Ett strukturerat recept är också det som får resten av appen att fungera. En sparad video kan gå in i din måltidsplan, upp på en inköpslista där dubbletter slås ihop och sorteras efter avdelning, och in i matlagningsläget, där varje steg visar ingredienserna det använder. Långa videor bearbetas i bakgrunden, och du får en avisering när receptet är klart.

Pluck är inte längre ensam om att läsa matlagningsvideor. ReciMe, Honeydew och Deglaze transkriberar också videons ljud, och Deglaze säger att den dessutom läser text i bild, bildruta för bildruta. Många andra, däribland Mela och Pestle, läser bara bildtexten. Jämför du appar visar vår översikt över receptappar vem som gör vad.

Tekniken är faktiskt ny. För två år sedan gick inget av det här att göra på en nivå som dög i ett kök. I dag har multimodal AI passerat gränsen från forskningsdemo till användbart köksverktyg. Och det fortsätter framåt: modellerna växer, träffsäkerhetspoängen kalibreras bättre, och gruppen videor som lämnar ifrån sig ofullständiga resultat krymper för varje uppdatering.

Vill du se den multimodala extraktionen i arbete? Pluck finns för iOS och Android. Hämta appen på Google Play. Klistra in adressen till vilken matlagningsvideo som helst och se AI:n göra ett recept du kan laga efter. Finns även för iOS.