Wie KI Kochvideos liest: ein Blick in Plucks multimodale Extraktion

Stell dir ein 30-Sekunden-Reel auf Instagram vor, in dem jemand Letscho mit Ei macht. Zwei Sekunden lang steht Schrift im Bild – „1 Dose stückige Tomaten” –, während im Ton zu hören ist: „Ich mach da immer noch einen halben Teelöffel Paprikapulver rein, edelsüß.” In der Bildunterschrift steht kein Rezept, und einen Blogbeitrag dazu gibt es auch nicht. Das ganze Rezept existiert als Knäuel aus Ton, Bewegtbild und kurz aufblitzender Schrift.

Wie macht eine KI daraus ein strukturiertes Rezept mit Zutatenliste und nummerierten Schritten?

Unser Text darüber, ob KI Rezepte aus Videos extrahieren kann, gibt den Überblick. Hier geht es eine Ebene tiefer, in die Technik hinter jedem Schritt.

Was „ansehen” für eine KI eigentlich bedeutet

Ein Mensch nimmt ein Kochvideo auf einmal auf. Eine KI muss dasselbe ausdrücklich und in Etappen leisten.

Plucks Ablauf sammelt fünf Arten von Signalen: die Videobilder, den Ton (als Text mitgeschrieben), die eingeblendete Schrift, Bildunterschrift und Beschreibung sowie die Metadaten des Beitrags. Er übergibt sie einem multimodalen KI-Modell, das sie gemeinsam liest, Widersprüche auflöst und Lücken schließt.

Bildauswahl: die Küche sehen

Ein zehnminütiges YouTube-Video mit 30 Bildern pro Sekunde besteht aus 18.000 Einzelbildern, von denen die allermeisten fast identisch sind. Alle zu verarbeiten kostet Rechenzeit und bringt kein zusätzliches Signal.

Stattdessen sucht sich Pluck eine kleine Auswahl an Schlüsselbildern heraus, etwa 8 bis 10 pro Video. Per Szenenerkennung findet es die Momente, in denen sich das Bild ändert und die Informationsdichte am höchsten ist: den Schnitt vom Schneidebrett an den Herd, die Titelkarte, die ins Bild fährt. Außerdem behält Pluck immer ein Bild aus den ersten Sekunden, wo meist die Titelkarte steht, und eines vom Schluss, wo viele noch einmal das ganze Rezept zusammenfassen.

In jedem Bild sucht die KI nach Zutaten, nach Mengen, die an Messbechern, Löffeln oder der Küchenwaage abzulesen sind, nach Verpackungsetiketten, nach eingeblendeter Schrift und nach dem Zustand des Essens, von roh bis fertig auf dem Teller.

Unverzichtbar ist die Bildauswertung für stumme Kochvideos im ASMR-Stil, ohne Erzählung und manchmal ohne Schrift. Allein aus den Bildern kann die KI die meisten Zutaten erkennen und die Reihenfolge der Arbeitsschritte rekonstruieren.

Warum Bildrate und Auflösung zählen

Ein YouTube-Upload in 4K liefert scharfe, gut lesbare Einblendungen und erkennbare Verpackungen. Ein niedrig aufgelöstes TikTok, das schon durch drei Plattformen komprimiert wurde, hat womöglich Schrift, die selbst ein Mensch kaum entziffert. Dann muss sich die Extraktion stärker auf Ton und Bildunterschrift stützen – und der Konfidenzwert spiegelt das wider.

Spracherkennung: dem Kochenden zuhören

Für die meisten Kochvideos ist die Tonspur der reichhaltigste Kanal. Es wird beim Kochen erzählt, und in dieser Erzählung steckt der Kern des Rezepts: Zutaten, Mengen, Zeiten, Temperaturen, Handgriffe.

Mit dem Durcheinander einer echten Küche kommt heutige Spracherkennung erstaunlich gut zurecht. Die Modelle filtern Küchenlärm und Hintergrundmusik heraus und verarbeiten zuverlässig Dialekt, hohes Sprechtempo und Genuschel, an denen ältere Systeme reihenweise gescheitert sind.

Die KI wertet außerdem Küchensprache aus. Sie versteht, dass „ein Stück Butter dazu” die Butter als Zutat meint und dass „mit Salz und Pfeffer abschmecken” Salz und Pfeffer zu Zutaten macht, auch wenn keine Menge gefallen ist. Und sie fängt beiläufige Bemerkungen auf: „Meine Oma hat hier immer Schmalz genommen, ich nehme Butter” macht die Butter zur Zutat dieses Rezepts, und die Ersetzung wird vermerkt.

Texterkennung: lesen, was ins Bild geschrieben wird

Ein großer Teil der kurzen Rezeptvideos – TikTok, Instagram Reels, YouTube Shorts – nutzt eingeblendete Schrift als wichtigstes Mittel der Mitteilung. Ein angesagtes Musikstück läuft, während jemand Text über das Bild legt, und das Rezept lebt vollständig in dieser Textebene.

Einen eigenen Schritt zur Zeichenerkennung gibt es bei Pluck nicht. Das Bildmodell liest die Schrift in jedem Schlüsselbild so, wie ein Mensch es täte: mit Blick auf Anordnung und Zusammenhang. Große Schrift oben im Bild, gleich zu Beginn: vermutlich der Titel des Rezepts. Kurz aufblitzender Text, während eine Zutat dazukommt: vermutlich eine Menge. Text, der über mehrere Schnitte stehen bleibt: vermutlich eine mitlaufende Zutatenliste.

Auch der Zeitpunkt zählt. Eine Einblendung, die genau in dem Moment erscheint, in dem Milch in eine Schüssel läuft, wird mit dieser Handlung verknüpft: Ein genaues „200 ml Vollmilch” im Bild ergänzt so ein vages „jetzt kommt Milch dazu” im Ton.

Das 300-Millisekunden-Problem

Manche schneiden so, dass Schrift nur 300 Millisekunden im Bild steht. Die Szenenerkennung erwischt viele dieser Wechsel, weil neue Schrift oft mit einem Schnitt kommt. Eine Handvoll Schlüsselbilder kann ein kurzes Aufblitzen dazwischen aber trotzdem verpassen. Kommt das Rezept dadurch lückenhaft heraus, sinkt der Konfidenzwert, damit du weißt, dass du nachsehen solltest.

Untertitel und Metadaten: die Ebene der Gegenprobe

Bildunterschrift, Videobeschreibung und die Metadaten des Beitrags bilden das vierte und fünfte Signal: eine Gegenprobe, die bestätigt und ergänzt, was Bild und Ton sagen.

Sie kommen außerdem zuerst dran. Bevor Pluck irgendetwas herunterlädt, liest es die Bildunterschrift. Hat die Urheberin das Rezept dort schon vollständig ausgeschrieben, extrahiert Pluck direkt daraus und spart sich Download, Bildauswahl und Transkription. Erst wenn das Rezept in der Bildunterschrift fehlt oder nur zum Teil drinsteht, läuft die volle Videoanalyse.

Den Ton schreibt Pluck selbst mit, statt sich auf die automatischen Untertitel der Plattformen zu verlassen – die sind berüchtigt dafür, Küchenvokabular zu verstümmeln. YouTube-Beschreibungen enthalten häufig ganze oder halbe Zutatenlisten, Zeitmarken oder Links zum geschriebenen Rezept, und TikTok-Bildunterschriften nennen manchmal die wichtigsten Zutaten oder den Namen des Gerichts.

Die Zusammenführung: wo die Signale verschmelzen

Das KI-Modell sieht Schlüsselbilder, Transkript, Bildunterschrift und Metadaten gemeinsam und löst die Widersprüche zwischen ihnen auf, für jede Zutat, jede Menge und jeden Schritt. Angenommen, jemand kocht auf YouTube ein Rindergulasch:

Die Bildauswertung erkennt Rindfleisch, Zwiebeln, Paprika, Tomatenmark und mehrere Gewürze auf der Arbeitsplatte.
Die Spracherkennung hört „ungefähr einen Esslöffel Paprikapulver”.
Die Texterkennung liest die Einblendung „1 EL Paprikapulver, edelsüß”.
Die Beschreibung führt „Paprikapulver” in einer unvollständigen Zutatenliste, ohne Menge.

Das Modell macht daraus „1 EL Paprikapulver, edelsüß”: die Menge aus Einblendung und Ton, die sich decken, die Zutat aus Ton, Einblendung und Beschreibung, also aus drei übereinstimmenden Quellen. Hätte sich das Transkript bei „Paprikapulver” verhört, würden die übrigen Signale es überstimmen.

Der Konfidenzwert: wissen, was man nicht weiß

Nicht jede Extraktion ist gleich verlässlich, deshalb vergibt Pluck für jede einen Konfidenzwert, der auf dem Prüfbildschirm als hohe, mittlere oder geringe Zuverlässigkeit steht. Ist er hoch, haben sich die Signale gegenseitig bestätigt und das Rezept ist vollständig; dann geht das Speichern schnell und ohne großes Durchsehen. Bei einem niedrigen Wert bittet dich Pluck, vor dem Speichern noch einmal draufzuschauen und die Zutatenliste mit dem Video abzugleichen. Jedes Feld lässt sich bearbeiten.

In den Wert fließen auch Vollständigkeit und Genauigkeit ein. Ein Rezept mit Titel, zwölf sauber angegebenen Zutaten und acht nummerierten Schritten steht besser da als eines mit Titel, vier vagen Zutaten und einem einzigen Absatz Anleitung.

Warum jede Plattform eine eigene Strategie braucht

YouTube-Videos sind länger, besser erzählt und haben oft Text in der Beschreibung. Die Spracherkennung ist meist der führende Kanal. Eine Einschränkung gibt es: Pluck holt derzeit ein Rezept pro Video heraus, eine Zusammenstellung wie „5 schnelle Feierabendgerichte” ergibt also ein Rezept, nicht fünf. Videos verarbeitet Pluck bis zu einer Länge von 30 Minuten. Wie das im Einzelnen abläuft, steht in unserem Ratgeber zu Rezepten aus YouTube-Videos.

TikTok-Videos sind kurz, oft laut und stützen sich stark auf eingeblendete Schrift, deshalb gewinnt die Texterkennung hier an Gewicht. Auf der Tonspur läuft häufig ein angesagtes Lied statt einer Erzählung, entsprechend wenig Signal kommt von dort, und jedes Bild trägt anteilig mehr. Und wie wir schon ausführlich beschrieben haben, ist TikToks eigene Speicherfunktion für die dauerhafte Ablage von Rezepten unzuverlässig.

Instagram Reels liegen dazwischen. Häufig kommen Erzählung und Einblendung zusammen, und im Feld für die Bildunterschrift steht regelmäßig das vollständige Rezept in Textform. Dann ist die Bildunterschrift die verlässlichste Quelle, und die Auswertung des Videos dient der Bestätigung statt der Extraktion.

Modellwahl: das passende Werkzeug für die jeweilige Aufgabe

Pluck verlässt sich nicht auf ein einziges Modell. Der Ablauf verteilt jede Extraktion danach, um welche Art von Eingabe es sich handelt, und nutzt Modelle von Anthropic (Claude), OpenAI (GPT, dazu Whisper für die Transkription des Tons) und Google (Gemini). Eine Webseite, ein Foto und ein Video sind unterschiedliche Aufgaben: Einfache, sauber strukturierte Seiten können an ein schnelleres Modell gehen, schwierigere Quellen an ein leistungsfähigeres. Für jede Aufgabe stehen außerdem Ersatzmodelle anderer Anbieter bereit; ist einer langsam oder gerade nicht erreichbar, weicht die Extraktion aus, statt zu scheitern.

Warum das zählt, wenn du Abendessen kochen willst

Der ganze Aufwand dient einem einzigen praktischen Zweck: Du hast in einem Video ein Rezept gesehen und willst es kochen, ohne vierzigmal zurückzuspulen, ohne es abzufotografieren und in der Fotomediathek zu verlieren und ohne es abzutippen.

Heraus kommt eine saubere Rezeptkarte: Titel, Zutaten, Schritte, Zeiten, Portionen. Das Format ist dasselbe, ob die Quelle ein 30-minütiger YouTube-Kurs war, ein 15-Sekunden-TikTok oder ein Instagram-Karussell, bei dem sich das Rezept über mehrere Bilder verteilt. Alle fünf Wege der Extraktion erklärt die Seite Wie Pluck funktioniert.

Erst ein strukturiertes Rezept bringt auch den Rest der App zum Laufen. Ein gespeichertes Video kann in deinen Essensplan wandern, auf eine Einkaufsliste, auf der doppelte Zutaten zusammengeführt und nach Abteilungen sortiert sind, und in den Kochmodus, der bei jedem Schritt die Zutaten zeigt, die du dafür brauchst. Dieselbe Struktur erlaubt es „Woche füllen”, aus deinen gespeicherten Rezepten zu wählen, und dem Vorratsscan, ein Foto deines Kühlschranks mit deren Zutaten abzugleichen. Lange Videos laufen im Hintergrund, und sobald das Rezept fertig ist, bekommst du eine Benachrichtigung.

Pluck ist längst nicht mehr die einzige App, die Kochvideos auswertet. ReciMe, Honeydew und Deglaze schreiben ebenfalls die Tonspur mit, und Deglaze gibt an, auch eingeblendeten Text Bild für Bild zu lesen. Viele andere, darunter Mela und Pestle, lesen nur die Bildunterschrift. Wer vergleichen will, findet auf der Übersicht zur besten Rezepte-App, wer was kann.

Vor zwei Jahren war davon nichts in einer Qualität möglich, mit der sich wirklich kochen ließ. Und es wird weiter besser: Die Modelle legen zu, der Konfidenzwert wird treffsicherer, und die Zahl der Videos, aus denen nur ein lückenhaftes Rezept herauskommt, sinkt mit jeder Aktualisierung.

Willst du die multimodale Extraktion in Aktion sehen? Pluck gibt es für iOS und Android. Bei Google Play laden. Auch für iOS.