Kan AI extrahera recept ur video? Så går det till

Det är frågan vi får oftast: kan AI extrahera recept ur video? Alltså inte ur en prydligt uppställd matblogg, utan ur fyrtiofem sekunder TikTok där någon pratar i kapp med klockan, slänger i saker i pannan, och “receptet” är det du hinner uppfatta innan klippet börjar om. Korta svaret är ja. Modern multimodal AI kan titta på en matlagningsvideo, lyssna på berättarrösten, läsa texten som ligger i bild och lämna ifrån sig ett strukturerat recept med ingredienser, mängder och numrerade steg. Men hur det går till är mer intressant än att det går, och mekaniken förklarar både varför det fungerar och var det fortfarande skaver.

Den här texten är den tekniska följeslagaren till vår guide om recept från sociala medier. Där handlar det om varför och hur du gör; här går vi ner i själva maskineriet.

De fem källorna i en matlagningsvideo

En matlagningsvideo är inte en informationskälla. Den är minst fem, lagrade ovanpå varandra, och ett system som ska duga måste borra i alla fem.

1. Bildrutorna

AI:n tittar inte på varenda bildruta. Det vore slöseri med beräkningskraft och skulle inte ge ett bättre resultat. I stället väljs bilderna ut med förnuft: nyckelbilder med jämna mellanrum och alltid när något i bilden ändras ordentligt. Klipp från förberedelsen till spisen? En bild. En titelskylt som dyker upp? En bild. En hand som lägger ingredienser på bänken? En bild.

Och vad letar AI:n efter i dem? Ingredienser som ligger framme på bänken eller skärbrädan. Mått som syns på decilitermått eller våg. Text som lagts över bilden för att visa mängder eller stegnummer. Etiketter på förpackningar. Matens tillstånd i olika skeden: rå, brynt, puttrande, upplagd. Varje sådan signal ger datapunkter som till slut fogas ihop till receptet.

Bildanalysen är särskilt värdefull för den växande gruppen tysta matlagningsvideor – de där meditativa ASMR-klippen där någon lagar mat under tystnad och låter bilderna berätta. Utan den vore de fullständigt ogenomträngliga.

2. Ljudspåret

För den stora merparten matlagningsvideor är taligenkänningen ryggraden. De flesta pratar medan de lagar, och i det pratet ligger själva receptet: “två deciliter vetemjöl”, “bryn kycklingen på ganska hög värme, fyra minuter per sida”, “salta, peppra och en tesked rökt paprikapulver”.

Röran i ett verkligt kök klarar dagens modeller bra. Fräsande olja, rinnande vatten och skramlande kastruller filtreras bort. Dialekter och talstil som fick äldre system att gå bet är inget hinder längre. Och det handlar inte bara om att skriva av orden, utan om att förstå dem: att “i med en klick smör” betyder att smör är en ingrediens, och att “låt det gå en tjugo minuter” är en tidsangivelse.

Många recept på TikTok finns bara som tal. Kreatören pratar sig genom receptet över bilder på matlagningen, utan text i bild och utan att skriva ner något någonstans. Utan ljudspåret hade de recepten suttit inlåsta i videon för alltid.

3. Text i bild (OCR)

Väldigt många kreatörer, i synnerhet på TikTok, i Instagram Reels och i YouTube Shorts, lägger text direkt ovanpå videon. Det kan vara en ingredienslista i början, mängder som blinkar förbi allteftersom saker tillsätts eller stegnummer under själva lagningen.

AI:n läser texten med optisk teckenigenkänning, men stannar inte vid rå OCR. Den förstår också placering och sammanhang. Stor text högt upp i bild i början av videon? Antagligen titeln. Text som visas kort medan någon häller vätska i en skål? Antagligen ett mått. Text som ligger kvar över flera klipp? Antagligen en löpande ingredienslista.

Det här väger tungt, eftersom text i bild är det främsta sättet många kreatörer uttrycker sig på. Kortvideor som följer en trend bygger ofta på text över ett ljudspår som råkar vara populärt just då, vilket betyder att receptet lever helt och hållet i textlagret.

4. Undertexter och bildtexter

Undertexter är en egen källa, skild från avlyssningen av ljudspåret. Automatgenererade undertexter är i grunden plattformens egen taligenkänning, och hur bristfälliga de än är fungerar de utmärkt som kontroll mot AI:ns egen avskrift. Undertexter som kreatören själv laddat upp är ännu mer värda, eftersom de granskats för hand och därför brukar stämma.

Undertexterna hjälper också med tidsättningen. Varje textsegment har en tidsstämpel, så AI:n kan koppla ihop ett talat moment med ett bestämt ögonblick i videon. Står det “i med vitlöken” vid 2:34 och bilden vid 2:34 visar vitlök som åker i pannan, har AI:n två oberoende bekräftelser på samma sak.

5. Metadata och beskrivning

Texten runt omkring videon innehåller ofta receptuppgifter. YouTube-beskrivningar har ofta hela eller halva ingredienslistor, länkar till ett blogginlägg med receptet nedskrivet eller tidsmärken till videons olika delar. TikTok-bildtexter räknar upp de viktigaste ingredienserna eller åtminstone rättens namn. Instagram-bildtexter kan innehålla hela recept i löpande text.

De här uppgifterna är både källa och kontrollinstans. Står det “3 vitlöksklyftor” i beskrivningen medan ljudet säger “några klyftor vitlök” har AI:n en konkret mängd att förankra det luddiga uttrycket i.

Så vägs allt samman

Ingen enskild källa ger dig hela receptet. Ljudet säger kanske “i med lite mjöl” utan att nämna hur mycket. Texten i bild i samma stund visar “2 dl vetemjöl”. Beskrivningen listar “2 dl vetemjöl (125 g)”. AI:n stämmer av alla fem källorna mot varandra och tar den mest exakta och mest pålitliga versionen av varje uppgift.

Ett konkret exempel. En kreatör lagar en snabb pastasås på TikTok. I ljudet säger hon “två deciliter mjöl”. Texten i bild lyder “2 dl vetemjöl”. Beskrivningen säger bara “mjöl”. AI:n väger ihop det till “2 dl vetemjöl” – måttet från ljudet, sorten från texten i bild, bekräftat av beskrivningen.

Just den här avstämningen mellan flera kanaler är den grundläggande fördelen mot allt som bara har en källa. Ett verktyg som bara skriver av ljudet ger dig “två deciliter mjöl”. Ett verktyg som bara kör OCR missar kanske texten om den är liten eller delvis skymd. Pluck tar allt som finns, viktar det efter pålitlighet och precision och får därmed ut det mest kompletta som innehållet tillåter.

Resultatet är ett genomstrukturerat recept: titel, ingredienser med mängd och enhet, numrerade steg, förberedelsetid, tillagningstid, total tid, portioner och taggar för kök. Det är samma rena format som du får ut ur en välbyggd matblogg – AI:n normaliserar videoinnehållet till samma resultat. Hur det förhåller sig till traditionell webbklippning har vi skrivit om i en utförlig jämförelse mellan AI-extraktion och webbklippning.

Hur träffsäkert är det?

Träffsäkerheten är den fråga som avgör allt, och den förtjänar ett ärligt svar.

Hur bra en extraktion blir beror kraftigt på källan. En YouTube-video med tydligt tal, text i bild och hela receptet i beskrivningen ger ett mycket träffsäkert resultat, eftersom alla fem källorna pekar åt samma håll. En stressig TikTok med hög musik och ingen text i bild ger ett betydligt osäkrare.

Därför finns träffsäkerhetspoängen i Pluck. Varje extraktion får en, och den bygger på hur många källor som bidragit, hur väl de stämde överens och hur komplett receptet blev. Ett recept där tre källor oberoende av varandra anger samma mängd står stadigare än ett där AI:n bara haft ett brusigt ljudspår att gå på.

Är poängen hög går receptet oftast att spara som det är. Är den lägre blir genomläsningen viktigare, och Pluck lägger fram receptet för granskning innan det sparas. Du stämmer av ingredienserna mot det du såg i videon, rättar mängder som ser konstiga ut och fyller på med det som fattas.

Är det felfritt? Nej. Men jämför med alternativet: att titta på videon, pausa var femte sekund och knappa in receptet själv. Det tar 20 till 40 minuter per video och blir inte heller rätt. Du hör fel, glömmer mängder och hoppar över steg. AI:n ger dig ett starkt utkast på några sekunder. Genomläsningen tar en minut eller två. Sammanlagt en bråkdel av tiden.

Där videoextraktionen fortfarande kämpar

Öppenhet om gränserna bygger förtroende, så här är fallen där tekniken har det verkligt tufft i dag.

Hantverk utan mått. Vissa lagar på känsla och säger aldrig en mängd. En näve ost, olja tills botten är täckt, smaka av. AI:n känner igen ingredienserna men kan inte gissa mängderna säkert bara genom att titta. “Efter smak” är ibland det ärligaste som går att få ut.

Dåligt ljud eller hög musik. När ett populärt ljudspår ligger högre än rösten blir taligenkänningen sämre. Text i bild och beskrivning bär vidare, men är också de tunna blir receptet ofullständigt.

Luddigt språk. “En skvätt grädde”, “en rejäl skvätt vin”, “buljong så att det täcker”. Det är riktiga instruktioner som vana kockar tolkar på känsla, men de går inte att göra siffror av. AI:n tar dem som de sades i stället för att hitta på en exakthet som inte finns.

Väldigt långa videor med flera recept. En “vad jag äter på en dag” på 45 minuter kan rymma fyra, fem separata recept. Då måste AI:n först hitta gränserna mellan dem, vilket är svårare än att dra ut ett enda recept. Det blir bättre, men de videorna förblir det tuffare fallet.

Klippstorm. En del kortvideor klipper varje halvsekund och lägger in text i 300 millisekunder. I det tempot går information förlorad även med smart bildurval. Ju mer hetsig klippningen är, desto osäkrare blir resultatet.

Varför det blir bättre för varje år

Kvaliteten står inte still. Den växer från två håll.

För det första blir modellerna bättre: bildmodellerna som analyserar bildrutorna, taligenkänningen som tar hand om ljudet och språkmodellerna som fogar ihop alltihop till ett recept. Alla tre går snabbt framåt. Det som gav medelmåttiga resultat för ett år sedan ger starka i dag. Pluck arbetar med flera leverantörer, bland andra Claude, GPT och Gemini, och kan skicka en extraktion till den modell som klarar just den sortens innehåll bäst. Kör en modell fast på en dialekt eller en klippstil tar en annan vid.

För det andra sluter träffsäkerhetspoängen en cirkel. Är den låg läser användaren igenom och rättar. Rättelserna påverkar hur liknande innehåll hanteras framöver. Med tiden krymper alltså mängden videor som lämnar osäkra resultat efter sig.

Det här är inte teoretiskt, det är mätbart. I dag hanteras innehåll som låg helt utom räckhåll för två år sedan. Bildförståelse, taligenkänning och språkförståelse har tillsammans passerat gränsen mellan intressant forskningsdemo och verktyg du faktiskt lagar mat med. Hur det går till för matlagningsvideor på YouTube har vi skrivit en egen guide om.

Tekniken är faktiskt ny

Det är värt att kliva tillbaka ett steg och se vad som egentligen hänt. För två år sedan krävdes en människa för att få ut ett recept ur en video: titta igenom alltihop, pausa gång på gång och skriva ner det man såg och hörde. Något automatiskt alternativ fanns inte. Modeller som samtidigt förstår bildrutor, talat språk och text i bild, och det på en nivå som duger i köket, existerade helt enkelt inte.

I dag klistrar du in en länk och får ett strukturerat recept på några sekunder. Kedjan tittar på videon, lyssnar på rösten, läser texten i bild, tolkar metadata, stämmer av allt mot varandra, sätter en träffsäkerhetspoäng och lägger fram ett rent recept att läsa igenom. Den klarar YouTube, TikTok, Instagram och Facebook, den fungerar på flera språk och den tar allt från trettio sekunder långa Shorts till en timmes matlagningskurs.

Hela kedjan med figurer och allt går vi igenom på Så fungerar Pluck. Men det snabbaste sättet att förstå tekniken är att pröva den: klistra in länken till en matlagningsvideo och se vad som kommer ut.

Framtiden för sparade recept ligger inte i bokmärken och skärmdumpar som försvinner när plattformarna ändrar sig. Den ligger i strukturerade data som plockas ut med förnuft ur vilket format receptet nu råkar bo i, video inräknat. AI:n är redo. Recepten väntar.

Vilka receptappar som använder AI och hur väl det fungerar går vi igenom i vår guide till receptapp med AI, i genomgången av bästa receptappen för TikTok och i vår stora jämförelse av receptappar.

Vill du pröva extraktion med AI själv? Pluck finns för iOS och Android. Hämta appen på Google Play. Finns även för iOS.