Hur AI läser matlagningsvideor: en titt in i Plucks multimodala extraktion

Tänk dig ett trettio sekunder långt Reel på Instagram där någon gör pyttipanna. Kameran tippar ner i en gjutjärnspanna. En hand knäcker två ägg rakt ner i det som fräser. Text ligger i bild i två sekunder – “1 gul lök, tärnad” – medan rösten säger: “jag brukar ta en rejäl nypa timjan här också”. I bildtexten står inget recept. Något blogginlägg finns inte. Hela receptet existerar som ett nystan av ljud, rörlig bild och text som blinkar förbi.

Hur gör en AI ett strukturerat recept av det, med ingredienslista och numrerade steg?

Det är frågan allt hos Pluck kretsar kring, och svaret ligger i en kedja som är mer omständlig än de flesta anar. Har du läst vår text om huruvida AI kan extrahera recept ur video har du översikten. Här går vi ett steg djupare: ner i de tekniska avvägningarna, skillnaderna mellan de olika vägarna, räkningen bakom träffsäkerhetspoängen och skälen till att varje plattform kräver sin egen strategi.

Vad det innebär för en AI att “titta” på en video

När en människa tittar på en matlagningsvideo händer allt samtidigt. Du ser ingredienserna, hör instruktionerna, läser texten i bild och sätter ihop receptet i huvudet medan det pågår. Hjärnan väver samman intrycken utan att du behöver tänka på det.

En AI måste göra samma sak, fast uttalat och i etapper. Plucks kedja delar upp en matlagningsvideo i fem skilda signalkanaler, bearbetar var och en för sig och lägger dem sedan ovanpå varandra i ett steg som löser motsägelser och fyller luckor. De fem kanalerna: analys av bildrutorna, taligenkänning på ljudspåret, teckenigenkänning för text i bild (OCR), tolkning av undertexter och bildtexter samt metadata.

Varje kanal har sina styrkor. Varje kanal fallerar på sitt eget sätt. Kraften ligger i kombinationen.

Urval av bildrutor: att se köket

AI:n bearbetar inte varenda bildruta. En tio minuter lång YouTube-video i 30 bilder per sekund består av 18 000 bildrutor, och de allra flesta är närmast identiska: kameran står på stativ och tittar på en gryta som puttrar. Att köra alla kostar beräkningskraft och ger inte ett dugg extra information.

I stället väljer Pluck med förnuft. Systemet känner igen scenbyten: klippet från skärbrädan till spisen, inzoomningen på decilitermåttet, titelskylten som åker in i bild. Vid de övergångarna är informationstätheten som högst. Dessutom tas bilder med jämna mellanrum, så att lugna partier fångas upp – någon som lägger upp ingredienser på bänken utan ett enda dramatiskt klipp.

Vad letar AI:n efter i en utvald bildruta? Flera saker samtidigt. Hur ingredienserna ligger: en skärbräda med grönsaker som går att artbestämma. Mängder som går att läsa av på decilitermått, matskedar eller köksvåg. Förpackningar som avslöjar en bestämd vara. Text som någon lagt ovanpå bilden. Matens tillstånd i olika skeden: rå, brynt i pannan, upplagd på tallrik. Varje sådan iakttagelse blir en datapunkt som går in i det färdiga receptet.

Oumbärlig är bildanalysen för en särskild sorts innehåll: den tysta matlagningsvideon. De där ASMR-artade klippen, populära på både YouTube och Instagram, visar någon som lagar mat under fullständig tystnad. Ingen berättarröst. Ibland ingen text. Bara händer, ingredienser och handgrepp. Utan bildanalys är sådana videor helt ogenomträngliga. Med den känner AI:n igen de flesta ingredienserna och rekonstruerar ordningen på arbetsmomenten enbart utifrån det som syns.

Därför spelar bildfrekvens och upplösning roll

Alla källor är inte lika goda. En YouTube-uppladdning i 4K ger skarp, läslig text i bild och förpackningar som går att känna igen. En lågupplöst TikTok som redan komprimerats genom tre plattformar kan ha text som knappt en människa tyder. Plucks kedja anpassar trösklarna för teckenigenkänningen efter källans upplösning. Sämre material ger lägre värden på textsidan, och då lutar sig systemet tyngre mot ljud och bildtext för att väga upp.

Taligenkänning: att lyssna på den som lagar

För de flesta matlagningsvideor är ljudspåret den rikaste kanalen. Folk pratar medan de lagar, och i det pratet ligger själva receptet: ingredienser, mängder, tider, temperaturer, handgrepp. “Tre deciliter vetemjöl, siktat.” “Bryn kycklingen på ganska hög värme, ungefär fyra minuter per sida.” “Nu åker det i en tesked rökt paprikapulver. Vanligt går lika bra om det är det du har hemma.”

Med oredan i ett verkligt kök klarar sig dagens taligenkänning förvånansvärt bra. Fräsande olja, rinnande vatten, skramlande kastruller, musik i bakgrunden: modellerna filtrerar bort det och lyfter fram rösten. Dialekt, talhastighet och mummel som fick äldre system att gå bet är inget hinder för den nuvarande generationen.

Men det handlar inte bara om att skriva av orden, utan om att tolka kökssvenska. Systemet förstår att “i med en klick smör” gör smör till en ingrediens och inte till ett handgrepp. Det vet att “låt det stå en tjugo minuter” är en tidsangivelse. Det inser att “salta och peppra efter smak” gör salt och peppar till ingredienser, trots att ingen mängd nämnts.

Även sidokommentarer bär på riktig information. Säger någon “min mormor tog alltid ister här, men jag kör på smör” för AI:n korrekt in smör som den ingrediens som används, och noterar sammanhanget kring bytet.

Text i bild: att läsa det kreatörerna skriver

En stor del av de korta receptvideorna – TikTok, Instagram Reels, YouTube Shorts – använder text i bild som sitt främsta uttrycksmedel. Ett populärt ljudspår rullar medan kreatören lägger text ovanpå bilden: “2 dl vetemjöl”, “1 dl socker”, “225 grader i 25 min”. Receptet lever helt och hållet i textlagret.

Plucks teckenigenkänning stannar inte vid att avkoda tecken. Den placerar också texten i rummet och i tiden. Stor text högt upp i bild direkt i början: sannolikt receptets titel. Text som blinkar förbi just när en ingrediens tillsätts: sannolikt en mängd. Text som ligger kvar över flera klipp: sannolikt en löpande ingredienslista.

Tidsdimensionen är avgörande. En textremsa som dyker upp i exakt det ögonblick då mjölk hälls i en bunke knyts till den handlingen. Står det “2 dl standardmjölk” i bild medan ljudet bara säger “häll i lite mjölk” tar AI:n den exaktare avläsningen från bilden och bekräftelsen från ljudet att mjölken hör hemma i just det steget.

Problemet med 300 millisekunder

Vissa klipper så att texten står 300 millisekunder i bild – knappt nog för ett mänskligt öga, än mindre för en ordentlig bearbetning. Därför siktar Plucks bildurval uttryckligen in sig på ögonblicket då text kommer in i bild och tar tätare prov just där. Ändå är blixtsnabb text en av de segare nötterna. Sådana extraktioner får en lägre träffsäkerhetspoäng, så att du vet att det är värt en kontroll.

Undertexter och metadata: lagret som stämmer av

Undertexter, videobeskrivningar och plattformens egna uppgifter utgör den fjärde och femte kanalen. De brukar räknas som andrahandskällor, men de spelar en avgörande roll som kontrollinstans som bekräftar och berikar det som kommer från huvudkanalerna.

Automatgenererade undertexter är i grunden plattformens egen taligenkänning. De är bristfälliga – YouTubes automatiska undertexter är ökända för att förvanska köksord – men de ger en oberoende andra åsikt om vad som sades. Är Plucks egen avskrift och YouTubes undertexter överens om “två matskedar japansk soja” stiger värdet på den datapunkten. Säger de emot varandra tittar systemet på sammanhanget och avgör vilket som är troligast.

Undertexter som kreatören själv laddat upp väger tyngre, eftersom de granskats för hand. YouTube-beskrivningar innehåller ofta hela eller halva ingredienslistor, tidsmärken eller länkar till ett blogginlägg med receptet nedskrivet. TikTok-bildtexter nämner åtminstone de viktigaste ingredienserna eller rättens namn. All den texten tolkas och stäms av mot de övriga kanalerna.

Sammanvägningen: där signalerna smälter ihop

Det är det här steget som gör kedjan till mer än summan av sina delar. När varje kanal bearbetats för sig förs alla fem dataströmmarna samman, och motsägelserna löses upp.

Ett konkret exempel. Någon lagar kycklinggryta med curry på YouTube. Så här ser kanalerna ut:

Bildanalysen hittar kyckling, gul lök, paprika, kokosmjölk och flera kryddor på bänken. Och en måttsked.
Taligenkänningen hör “ungefär en matsked curry” och “fem deciliter kokosmjölk”.
Teckenigenkänningen läser texten i bild: “1 msk curry”.
De automatiska undertexterna gör det till “en matsked kurre” (köksord ställer regelbundet till det för dem).
Beskrivningen räknar upp “curry” i en ofullständig ingredienslista, utan mängd.

Sammanvägningen landar i “1 msk curry”: mängden från ljud och text i bild, som är eniga, ingrediensen från ljud, text i bild och beskrivning, alltså tre samstämmiga källor – och den havererade undertexten åker ut. Dess fel gör ingen skada, eftersom de övriga kanalerna röstar ner den.

Den här upplösningen sker för varje ingrediens, varje mängd och varje steg i receptet. Varje datapunkt får ett värde efter hur många kanaler som bidragit och hur eniga de var.

Träffsäkerhetspoängen: att veta vad man inte vet

Alla extraktioner är inte lika pålitliga, och att låtsas något annat skulle skada förtroendet. Pluck sätter en träffsäkerhetspoäng på varje extraktion, och den påverkar direkt vad du får se.

Är poängen hög har flera kanaler bekräftat varandra och receptet är komplett; då går det snabbt att spara utan större genomläsning. Är den lägre visas vilka delar av receptet systemet är mindre säkert på. Kanske var ljudet brusigt och AI:n vet inte om det var “en tesked” eller “en matsked” cayennepeppar. Den ingrediensen märks ut så att du kan kontrollera den.

I poängen vägs också fullständigheten in. Ett recept med titel, tolv välangivna ingredienser och åtta numrerade steg står stadigare än ett med titel, fyra luddiga ingredienser och ett enda stycke instruktioner. Både fullständighet och precision räknas.

Därför behöver varje plattform sin egen strategi

En 45 minuter lång YouTube-video och ett 15 sekunder långt TikTok är i grunden olika uppgifter, trots att det ligger ett recept i båda. Plucks kedja ställer om sig efter källan på flera sätt.

YouTube-videor är längre, bättre berättade och har ofta text i beskrivningen. Taligenkänningen är oftast den ledande kanalen. AI:n har mer material att gå på, men måste också hantera videor med flera recept i (“5 snabba vardagsmiddagar”) och hitta gränserna mellan dem. Hur det går till i detalj står i vår guide till att extrahera recept ur YouTube-videor.

TikTok-videor är korta, ofta högljudda och lutar sig tungt mot text i bild. Här väger teckenigenkänningen tyngre. På ljudspåret ligger ofta en populär låt i stället för en berättarröst, och därifrån kommer alltså mindre signal. Bildanalysen väger mer, eftersom varje bildruta bär proportionellt mer i det knappa formatet. Och som vi skrivit om utförligt är TikToks egen sparfunktion opålitlig för långsiktig förvaring.

Instagram Reels ligger däremellan. Berättarröst och text i bild kombineras ofta, och i bildtextfältet står regelbundet hela receptet i löptext. Skriver kreatören ut det där blir den källan den pålitligaste, och analysen av videon får rollen som bekräftelse i stället för huvudkälla.

Modellval: rätt verktyg till rätt uppgift

Pluck lutar sig inte mot en enda modell. Olika modeller har olika styrkor, och kedjan skickar en extraktion till den leverantör som passar innehållet.

Bland dem som finns att välja på är Claude, GPT och Gemini. Vissa modeller är starkare på att se och klarar stökiga bildrutor där flera textremsor ligger mot en orolig bakgrund. Andra förstår talat språk bättre, också vid kraftig dialekt eller störande ljud. Ytterligare andra glänser på strukturerad utmatning och lämnar ifrån sig prydlig JSON med normaliserade mängder.

Beslutet fattas utifrån innehållsanalysen i kedjans tidiga steg. En video med tydlig berättarröst och bra ljud går till en modell med starkt språksinne. En tyst matlagningsvideo med tät text i bild går till en med bättre ögon. Av den fördelningen märker du ingenting; du får helt enkelt det bästa resultat som går att få.

Varför det spelar roll när du ska laga middag

Allt det här tjänar ett enda praktiskt syfte: du har sett ett recept i en video och vill laga det. Du vill inte pausa och spola tillbaka fyrtio gånger. Du vill inte ta en skärmdump och tappa bort den i kamerarullen. Och skriva av den vill du inte heller.

Eftersom kedjan använder flera kanaler klarar Pluck den ostädade verklighet som recept faktiskt lever i på nätet i dag. Alltså inte prydligt satta på en matblogg med utskriftsknapp, utan snabbt uttalade över fräsande pannor, blinkade förbi i två sekunder, halvt nedskrivna i en bildtext och aldrig ordentligt dokumenterade någonstans. AI:n ser, hör, läser och stämmer av så att du slipper. Ut kommer ett rent receptkort: titel, ingredienser, steg, tider, portioner. Samma format vare sig källan var en 45 minuter lång masterclass på YouTube eller ett TikTok på 15 sekunder. Hur alla fem vägarna samverkar går vi igenom på Så fungerar Pluck.

Tekniken är faktiskt ny. För två år sedan gick inget av det här att göra på en nivå som dög i ett kök. I dag har multimodal AI passerat gränsen från forskningsdemo till användbart köksverktyg. Och det fortsätter framåt: modellerna växer, träffsäkerhetspoängen kalibreras bättre, och gruppen videor som lämnar ifrån sig ofullständiga resultat krymper för varje uppdatering.

Vill du se den multimodala extraktionen i arbete? Pluck finns för iOS och Android. Hämta appen på Google Play. Klistra in adressen till vilken matlagningsvideo som helst och se AI:n göra ett recept du kan laga efter. Finns även för iOS.