Kan AI extrahera recept ur video? Så går det till

Det är frågan vi får oftast: kan AI extrahera recept ur video? Alltså inte ur en prydligt uppställd matblogg, utan ur fyrtiofem sekunder TikTok där någon pratar i kapp med klockan, slänger i saker i pannan, och “receptet” är det du hinner uppfatta innan klippet börjar om. Korta svaret är ja. Modern multimodal AI kan titta på en matlagningsvideo, lyssna på berättarrösten, läsa texten som ligger i bild och lämna ifrån sig ett strukturerat recept med ingredienser, mängder och numrerade steg. Men hur det går till är mer intressant än att det går, och mekaniken förklarar både varför det fungerar och var det fortfarande skaver.

Den här texten är den tekniska följeslagaren till vår guide om recept från sociala medier, som handlar om varför och hur du gör.

De fem källorna i en matlagningsvideo

En matlagningsvideo är minst fem informationskällor, lagrade ovanpå varandra, och ett system som ska duga måste borra i alla fem.

1. Bildrutorna

AI:n tittar inte på varenda bildruta. I stället väljer den ut nyckelbilder med jämna mellanrum och alltid när något i bilden ändras ordentligt, till exempel vid ett klipp från förberedelsen till spisen.

I dem letar AI:n efter ingredienser som ligger framme på bänken eller skärbrädan, mått som syns på decilitermått eller våg, text som lagts över bilden för att visa mängder eller stegnummer, etiketter på förpackningar och matens tillstånd i olika skeden: rå, brynt, puttrande, upplagd.

Bildanalysen är särskilt värdefull för den växande gruppen tysta matlagningsvideor i ASMR-stil, som annars vore fullständigt ogenomträngliga för extraktionen.

2. Ljudspåret

För den stora merparten matlagningsvideor är taligenkänningen ryggraden. De flesta pratar medan de lagar, och i det pratet ligger själva receptet: “bryn kycklingen på ganska hög värme, fyra minuter per sida”.

Röran i ett verkligt kök klarar dagens modeller bra. Fräsande olja, rinnande vatten och skramlande kastruller filtreras bort. Dialekter och talstil som fick äldre system att gå bet är inget hinder längre. Och det handlar inte bara om att skriva av orden, utan om att förstå dem: att “i med en klick smör” betyder att smör är en ingrediens, och att “låt det gå en tjugo minuter” är en tidsangivelse.

Många recept på TikTok finns bara som tal: kreatören pratar sig genom receptet utan text i bild och utan att skriva ner något någonstans. Utan ljudspåret hade de recepten suttit inlåsta i videon för alltid.

3. Text i bild (OCR)

Väldigt många kreatörer, i synnerhet på TikTok, i Instagram Reels och i YouTube Shorts, lägger text direkt ovanpå videon: en ingredienslista i början, mängder allteftersom saker tillsätts eller stegnummer under själva lagningen.

AI:n läser texten med optisk teckenigenkänning, men stannar inte vid rå OCR. Den förstår också placering och sammanhang. Stor text högt upp i bild i början av videon? Antagligen titeln.

Det här väger tungt, eftersom kortvideor som följer en trend ofta bygger på text över ett ljudspår som råkar vara populärt just då, vilket betyder att receptet lever helt och hållet i textlagret.

4. Undertexter och bildtexter

Undertexter är en egen källa, skild från avlyssningen av ljudspåret. Automatgenererade undertexter är i grunden plattformens egen taligenkänning: bristfälliga, men användbara som kontroll. Undertexter som kreatören själv laddat upp har granskats för hand och brukar stämma bättre.

Pluck är inte beroende av plattformens automatiska undertexter: den transkriberar ljudet själv och läser kreatörens bildtext och beskrivning. Men där tidsatta undertexter finns visar de varför flera källor hjälper. Varje textsegment har en tidsstämpel: står det “i med vitlöken” vid 2:34 och bilden vid 2:34 visar vitlök som åker i pannan, har AI:n två oberoende bekräftelser på samma sak.

5. Metadata och beskrivning

YouTube-beskrivningar har ofta hela eller halva ingredienslistor, länkar till ett blogginlägg med receptet nedskrivet eller tidsmärken till videons olika delar. TikTok-bildtexter räknar upp de viktigaste ingredienserna eller åtminstone rättens namn. Instagram-bildtexter kan innehålla hela recept i löpande text.

De här uppgifterna är både källa och kontrollinstans: en konkret mängd i beskrivningen kan förankra ett luddigt uttryck i ljudet.

Så vägs allt samman

Ingen enskild källa ger dig hela receptet, så AI:n stämmer av alla fem mot varandra och tar den mest exakta och mest pålitliga versionen av varje uppgift.

Säg att en kreatör lagar en snabb pastasås på TikTok. I ljudet säger hon “två deciliter mjöl”. Texten i bild lyder “2 dl vetemjöl”. Beskrivningen säger bara “mjöl”. AI:n väger ihop det till “2 dl vetemjöl” – måttet från ljudet, sorten från texten i bild, bekräftat av beskrivningen.

Just den här avstämningen mellan flera kanaler är den grundläggande fördelen mot allt som bara har en källa. Gott om receptappar importerar numera från TikTok och Instagram, men de flesta läser bara bildtexten; några, som ReciMe, Honeydew och Deglaze, använder också en transkribering av ljudet, och Deglaze säger att den läser text i bild också. Pluck tar allt som finns, viktar det efter pålitlighet och precision och får därmed ut det mest kompletta som innehållet tillåter.

Resultatet är ett genomstrukturerat recept: titel, ingredienser med mängd och enhet, numrerade steg, förberedelsetid, tillagningstid, total tid, portioner och taggar för kök. Det är samma rena format som du får ut ur en välbyggd matblogg, och därför spelar svaret roll även efter att du sparat: precis som vilket recept som helst kan en sparad video gå in i veckans måltidsplan, upp på en inköpslista som du kan dela och in i matlagningsläget, där timrar startas från steget du står på. Vi har också skrivit en utförlig jämförelse mellan AI-extraktion och webbklippning.

Hur träffsäkert är det?

Hur bra en extraktion blir beror kraftigt på källan. En YouTube-video med tydligt tal, text i bild och hela receptet i beskrivningen ger ett mycket träffsäkert resultat, eftersom alla fem källorna pekar åt samma håll. En stressig TikTok med hög musik och ingen text i bild ger ett betydligt osäkrare.

Därför sätter Pluck en träffsäkerhetspoäng på varje extraktion. Den bygger på hur många källor som bidragit, hur väl de stämde överens och hur komplett receptet blev. Ett recept där tre källor oberoende av varandra anger samma mängd står stadigare än ett där AI:n bara haft ett brusigt ljudspår att gå på.

Är poängen hög går receptet oftast att spara som det är. Är den lägre lägger Pluck fram receptet för granskning innan det sparas, så att du kan stämma av ingredienserna mot videon, rätta mängder som ser konstiga ut och fylla på med det som fattas.

Är det felfritt? Nej. Men alternativet är att titta på videon, pausa var femte sekund och knappa in receptet själv, vilket tar 20 till 40 minuter per video och inte heller blir rätt. AI:n ger dig ett starkt utkast på några sekunder, och genomläsningen tar en minut eller två.

Där videoextraktionen fortfarande kämpar

Hantverk utan mått. Vissa lagar på känsla och säger aldrig en mängd: en näve ost, olja tills botten är täckt, smaka av. AI:n känner igen ingredienserna men kan inte gissa mängderna säkert bara genom att titta. “Efter smak” är ibland det ärligaste som går att få ut.

Dåligt ljud eller hög musik. När ett populärt ljudspår ligger högre än rösten blir taligenkänningen sämre. Text i bild och beskrivning bär vidare, men är också de tunna blir receptet ofullständigt.

Luddigt språk. “En skvätt grädde”, “en rejäl skvätt vin”, “buljong så att det täcker”. Vana kockar tolkar dem på känsla, men de går inte att göra siffror av. AI:n tar dem som de sades i stället för att hitta på en exakthet som inte finns.

Långa videor med flera recept. En “vad jag äter på en dag” på 20 minuter kan rymma fyra, fem separata recept. Då måste AI:n först hitta gränserna mellan dem, vilket är svårare än att dra ut ett enda recept. Det blir bättre, men de videorna förblir det tuffare fallet.

Klippstorm. En del kortvideor klipper varje halvsekund och lägger in text i 300 millisekunder. I det tempot går information förlorad även med smart bildurval.

Varför det blir bättre för varje år

Kvaliteten växer från två håll.

För det första blir modellerna bättre, bildmodeller såväl som taligenkänning och språkmodeller. Det som gav medelmåttiga resultat för ett år sedan ger starka i dag. Pluck arbetar med flera leverantörer, bland andra Claude, GPT och Gemini, och kan skicka en extraktion till den modell som klarar just den sortens innehåll bäst.

För det andra visar träffsäkerhetspoängen var du ska lägga din uppmärksamhet. Är den låg läser du igenom och rättar receptet, och rättelserna sparas i din kopia. De används inte för att träna AI-modeller: AI-leverantörerna som Pluck använder tränar inte på dina data. Förbättringarna kommer från bättre modeller och från att själva kedjan finjusteras.

Hur det går till för matlagningsvideor på YouTube har vi skrivit en egen guide om.

Tekniken är faktiskt ny

För två år sedan var det enda sättet att få ut ett recept ur en video att skriva av det själv. Modeller som samtidigt förstår bildrutor, talat språk och text i bild, och det på en nivå som duger i köket, existerade helt enkelt inte.

I dag delar du eller klistrar in en länk och får ett strukturerat recept, oftast på några sekunder. Längre videor bearbetas i bakgrunden och du får en avisering när receptet är klart, så du behöver inte ha appen öppen. Pluck klarar YouTube, TikTok, Instagram och Facebook, även bildspel på Instagram och TikTok som den läser som ett enda recept. Den fungerar på flera språk och tar allt från trettio sekunder långa Shorts till matlagningsvideor på upp till 30 minuter. Hela kedjan går vi igenom på Så fungerar Pluck.

Framtiden för sparade recept ligger inte i bokmärken och skärmdumpar som försvinner när plattformarna ändrar sig. Den ligger i strukturerade data som plockas ut med förnuft ur vilket format receptet nu råkar bo i, video inräknat.

Vilka receptappar som använder AI och hur väl det fungerar går vi igenom i vår guide till receptapp med AI, i genomgången av bästa receptappen för TikTok och i vår stora jämförelse av receptappar.

Vill du pröva extraktion med AI själv? Pluck finns för iOS och Android. Hämta appen på Google Play. Finns även för iOS.