Kann KI Rezepte aus Videos extrahieren? Ein Blick in die Technik

Die eine Frage, die uns am häufigsten gestellt wird: Kann KI Rezepte aus Videos extrahieren? Nicht aus einem sauber gesetzten Foodblog, sondern aus 45 Sekunden TikTok, in denen jemand im Eiltempo redet, Zutaten in die Pfanne wirft, und das „Rezept” ist das, was du erwischst, bevor das Video von vorn losläuft. Die kurze Antwort lautet ja. Moderne multimodale KI kann sich ein Kochvideo ansehen, die Erzählung mithören, die eingeblendete Schrift lesen und daraus ein strukturiertes Rezept mit Zutaten, Mengen und nummerierten Schritten bauen. Spannender als das Was ist allerdings das Wie – und wer die Mechanik kennt, versteht auch, wo die Sache noch hakt.

Dieser Text ist der technische Begleiter zu unserem Ratgeber über Rezepte aus sozialen Netzwerken. Dort geht es ums Warum und um den Ablauf, hier um die Extraktion selbst.

Die fünf Quellen in einem Kochvideo

Ein Kochvideo ist keine einzelne Informationsquelle. Es sind mindestens fünf, übereinandergelegt, und ein brauchbares System zapft alle fünf an.

1. Die Videobilder

Die KI sieht sich nicht jedes einzelne Bild an. Das wäre Rechenzeit zum Fenster hinaus und brächte kein besseres Ergebnis. Stattdessen wird klug ausgewählt: Schlüsselbilder in Abständen und immer dann, wenn sich im Bild etwas Grundlegendes ändert. Schnitt von der Vorbereitung an den Herd? Ein Bild. Titelkarte im Bild? Ein Bild. Eine Hand legt Zutaten auf die Arbeitsplatte? Ein Bild.

Und wonach sucht die KI darauf? Nach Zutaten, die auf Brett oder Platte liegen. Nach Mengen, die an Messbechern oder auf der Waage abzulesen sind. Nach eingeblendeter Schrift, mit der Mengen oder Schrittnummern gezeigt werden. Nach Beschriftungen auf Verpackungen. Nach dem Zustand des Essens in den einzelnen Phasen: roh, angebräunt, köchelnd, angerichtet. Jedes dieser Signale liefert Datenpunkte, aus denen am Ende das Rezept zusammengesetzt wird.

Besonders wertvoll ist das bei der wachsenden Zahl stummer Kochvideos – diesen ruhigen ASMR-Clips, in denen niemand spricht und allein die Bilder erzählen. Ohne Bildanalyse wären sie für jede Extraktion vollständig undurchdringlich.

2. Die Tonspur

Bei der überwiegenden Mehrheit der Kochvideos ist die Spracherkennung das Rückgrat. Die meisten Leute reden beim Kochen, und in diesem Reden steckt das eigentliche Rezept: „zwei Tassen Mehl”, „das Hähnchen bei mittlerer bis hoher Hitze etwa vier Minuten pro Seite anbraten”, „salzen, pfeffern und einen Teelöffel geräuchertes Paprikapulver dazu”.

Mit dem Durcheinander einer echten Küche kommen heutige Modelle gut zurecht. Brutzelndes Öl, laufendes Wasser, klappernde Töpfe werden herausgefiltert. Dialekte und Sprechweisen, an denen ältere Systeme scheiterten, sind kein Hindernis mehr. Und es wird nicht bloß mitgeschrieben, sondern verstanden: dass „ein Stück Butter dazu” eine Zutat meint und „lass das mal zwanzig Minuten laufen” eine Zeitangabe ist.

Viele Rezepte auf TikTok gibt es ausschließlich als gesprochenes Wort. Da redet jemand über Bildern vom Kochen, ohne eine Zeile einzublenden und ohne das Rezept irgendwo hinzuschreiben. Ohne Auswertung der Tonspur bliebe so ein Rezept für immer im Video eingeschlossen.

3. Eingeblendete Schrift (OCR)

Sehr viele Leute, auf TikTok, in Instagram Reels und in YouTube Shorts ohnehin, legen Text direkt über ihr Video. Am Anfang eine Zutatenliste, zwischendurch die Menge zu dem, was gerade dazukommt, oder eine Schrittnummer während der Zubereitung.

Die KI liest diesen Text per Texterkennung, geht dabei aber über reines OCR hinaus: Sie versteht Anordnung und Zusammenhang. Große Schrift oben im Bild am Anfang des Videos? Vermutlich der Titel. Kurz eingeblendeter Text, während jemand Flüssigkeit in eine Schüssel gießt? Vermutlich eine Menge. Text, der über mehrere Schnitte hinweg stehen bleibt? Vermutlich eine mitlaufende Zutatenliste.

Das ist deshalb so wichtig, weil eingeblendete Schrift für viele Leute das Hauptmittel ist, sich mitzuteilen. Kurzvideos, die einem Trend folgen, arbeiten oft mit Text über einem gerade angesagten Musikstück – das Rezept lebt dann vollständig in der Textebene.

4. Untertitel und Bildunterschriften

Untertitel sind eine eigene Quelle, nicht dasselbe wie die Auswertung der Tonspur. Automatisch erzeugte Untertitel sind letztlich die Spracherkennung der Plattform selbst, und so unvollkommen sie sind: Sie taugen als Gegenprobe zur eigenen Transkription. Untertitel, die jemand selbst hochgeladen hat, sind noch wertvoller, weil sie von Hand geprüft wurden und entsprechend genau sind.

Dazu kommt der Zeitstempel. Jeder Untertitelabschnitt ist im Video verortet, gesprochene Anweisungen lassen sich also mit bestimmten Momenten verknüpfen. Steht bei 2:34 „jetzt der Knoblauch” und zeigt das Bild bei 2:34 Knoblauch, der in die Pfanne wandert, hat die KI zwei voneinander unabhängige Bestätigungen für denselben Schritt.

5. Metadaten und Beschreibung

Auch der Text rund um das Video enthält oft Rezeptinformationen. In YouTube-Beschreibungen stehen häufig Zutatenlisten, ganz oder teilweise, dazu Links auf einen Blogbeitrag mit dem geschriebenen Rezept oder Zeitmarken für die einzelnen Abschnitte. TikTok-Bildunterschriften nennen die wichtigsten Zutaten oder wenigstens den Namen des Gerichts. In Instagram-Bildunterschriften stehen manchmal komplette Rezepte am Stück.

Diese Metadaten sind Quelle und Kontrollinstanz zugleich. Steht in der Beschreibung „3 Knoblauchzehen” und im Ton „ein paar Zehen Knoblauch”, hat die KI eine konkrete Menge, an der sich die vage Ansage festmachen lässt.

Wie die KI das zusammenführt

Keine einzelne Quelle liefert das ganze Rezept. Im Ton heißt es vielleicht „etwas Mehl dazu”, ohne Menge. Im Bild steht in dem Moment „1 Tasse Mehl (Type 405)”. Und in der Beschreibung: „125 g Mehl”. Die KI gleicht alle fünf Quellen ab und nimmt jeweils die genaueste und verlässlichste Fassung jeder Angabe.

Ein konkretes Beispiel. Jemand macht auf TikTok eine schnelle Pastasauce. Gesprochen: „eine Tasse Mehl”. Eingeblendet: „1 Tasse Mehl, Type 405”. In der Beschreibung: „Mehl”. Daraus wird „1 Tasse Weizenmehl Type 405” – die Menge aus dem Ton, die Sorte aus der Einblendung, bestätigt durch die Beschreibung.

Genau dieser Abgleich über mehrere Kanäle ist der grundsätzliche Vorteil gegenüber jedem Werkzeug, das nur eine Quelle kennt. Ein reines Transkriptionswerkzeug gäbe dir „eine Tasse Mehl”. Ein reines OCR-Werkzeug übersähe die Einblendung womöglich, weil die Schrift klein oder halb verdeckt ist. Pluck nimmt, was da ist, gewichtet nach Verlässlichkeit und Genauigkeit, und holt so das Vollständigste heraus, was der Inhalt hergibt.

Heraus kommt ein durchstrukturiertes Rezept: Titel, Zutaten mit Menge und Einheit, nummerierte Schritte, Vorbereitungszeit, Kochzeit, Gesamtzeit, Portionen, Schlagwörter zur Küche. Es ist dasselbe saubere Format, das auch bei einem gut gebauten Foodblog herauskommt – die KI bringt Videoinhalte in dieselbe Form. Wie sich das zum klassischen Web-Clipping verhält, steht in unserem ausführlichen Vergleich von KI-Extraktion und Web-Clipping.

Und wie genau ist das Ganze?

Die Frage nach der Genauigkeit ist die entscheidende, und sie verdient eine ehrliche Antwort.

Wie gut eine Extraktion ausfällt, hängt stark von der Quelle ab. Ein YouTube-Video mit klarer Sprache, eingeblendeter Schrift und vollständigem Rezept in der Beschreibung ergibt ein sehr genaues Ergebnis, weil alle fünf Quellen sich gegenseitig bestätigen. Ein hektisches TikTok mit lauter Musik und ohne jede Einblendung ergibt ein wackligeres.

Deshalb gibt es bei Pluck den Konfidenzwert. Jede Extraktion bekommt einen, und er richtet sich danach, wie viele Quellen etwas beigetragen haben, wie gut sie zusammenpassten und wie vollständig das Rezept am Ende ist. Ein Rezept, bei dem drei Quellen unabhängig voneinander dieselbe Menge nennen, steht besser da als eines, bei dem nur eine verrauschte Tonspur zur Verfügung stand.

Ist der Wert hoch, kannst du das Rezept in aller Regel so speichern, wie es ist. Ist er niedriger, wird das Durchsehen wichtiger, und Pluck legt dir das Rezept vor dem Speichern noch einmal vor. Du gleichst die Zutaten mit dem ab, was du im Video gesehen hast, korrigierst schiefe Mengen und ergänzt, was gefehlt hat.

Ist die Extraktion per KI fehlerfrei? Nein. Nur: Die Alternative heißt Video ansehen, alle paar Sekunden anhalten und alles selbst abtippen. Das kostet 20 bis 40 Minuten pro Video und geht ebenfalls schief. Auch du verhörst dich, vergisst Mengen und überspringst Schritte. Die KI legt dir in Sekunden einen belastbaren ersten Entwurf hin, das Durchsehen dauert ein, zwei Minuten. Unterm Strich ein Bruchteil der Zeit.

Wo die Video-Extraktion an ihre Grenzen stößt

Offenheit über Grenzen schafft Vertrauen, also hier die Fälle, an denen die Technik heute wirklich zu knabbern hat.

Handwerk ohne Mengenangaben. Manche kochen aus dem Handgelenk und sagen nie eine Menge. Eine Handvoll Käse, Öl, bis der Boden bedeckt ist, abschmecken. Die KI erkennt die Zutaten, kann die Mengen aus dem Bild aber nicht zuverlässig schätzen. „Nach Geschmack” ist dann manchmal die ehrlichste Angabe, die möglich ist.

Schlechter Ton oder laute Musik. Wenn ein angesagter Musikschnipsel lauter ist als die Stimme, wird die Spracherkennung schlechter. Eingeblendete Schrift und Beschreibung tragen weiter, aber wenn auch die dünn sind, bleibt das Rezept lückenhaft.

Ungenaue Sprache. „Ein Schuss Sahne”, „ein ordentlicher Schluck Wein”, „so viel Brühe, dass alles bedeckt ist”. Das sind echte Anweisungen, die geübte Köchinnen und Köche aus dem Gefühl heraus umsetzen, nur lassen sie sich nicht in Zahlen gießen. Die KI übernimmt sie, wie sie gesagt wurden, statt eine Genauigkeit zu erfinden, die es nicht gibt.

Sehr lange Videos mit mehreren Rezepten. In einem 45-minütigen „Was ich an einem Tag esse” stecken vier oder fünf getrennte Rezepte. Die KI muss dann erst die Grenzen zwischen ihnen finden, und das ist schwerer, als ein einzelnes Rezept herauszuziehen. Es wird besser, aber solche Videos bleiben der härtere Fall.

Schnittgewitter. Manche Kurzvideos schneiden im Halbsekundentakt, Einblendungen stehen 300 Millisekunden. Bei dem Tempo entgeht selbst kluger Bildauswahl etwas. Je hektischer geschnitten, desto unsicherer das Ergebnis.

Warum es Jahr für Jahr besser wird

Die Qualität der Extraktion steht nicht still. Sie wächst aus zwei Richtungen.

Erstens werden die Modelle besser: die Bildmodelle, die die Videobilder auswerten, die Spracherkennung für die Tonspur und die Sprachmodelle, die daraus ein Rezept bauen. Alle drei kommen schnell voran. Was vor einem Jahr mittelmäßig ausfiel, gelingt heute gut. Pluck arbeitet mit mehreren Anbietern, unter anderem Claude, GPT und Gemini, und kann eine Extraktion an das Modell geben, das mit dieser Art von Inhalt am besten zurechtkommt. Wo das eine an einem Dialekt oder einer Machart hängen bleibt, kommt ein anderes durch.

Zweitens schließt der Konfidenzwert einen Kreis. Ist er niedrig, sieht jemand nach und korrigiert. Diese Korrekturen fließen in den Umgang mit ähnlichen Inhalten zurück. Mit der Zeit schrumpft also die Menge an Videos, bei denen es unsicher bleibt.

Das ist keine Theorie, das ist messbar. Was heute an Videos verarbeitet wird, lag vor zwei Jahren komplett außer Reichweite. Bildverständnis, Spracherkennung und Sprachverarbeitung zusammen haben die Schwelle von der interessanten Demo zum Werkzeug überschritten, mit dem man tatsächlich kocht. Wie das bei Kochvideos auf YouTube im Einzelnen abläuft, steht in einem eigenen Text.

Diese Technik ist tatsächlich neu

Man darf ruhig kurz innehalten und würdigen, was hier passiert. Vor zwei Jahren hieß „Rezept aus einem Video holen”: Ein Mensch sieht sich das Ganze an, hält ständig an und tippt ab, was er sieht und hört. Eine automatische Alternative gab es nicht. Modelle, die Videobilder, gesprochene Sprache und eingeblendete Schrift gleichzeitig verstehen, und das auf einem Niveau, das fürs Kochen taugt, existierten schlicht nicht.

Heute fügst du eine Adresse ein und bekommst Sekunden später ein strukturiertes Rezept. Der Ablauf sieht sich das Video an, hört den Ton mit, liest die Einblendungen, nimmt die Metadaten dazu, gleicht alles gegeneinander ab, vergibt einen Konfidenzwert und legt dir ein sauberes Rezept zum Durchsehen hin. Das funktioniert bei YouTube, TikTok, Instagram und Facebook, in mehreren Sprachen, von 30-Sekunden-Shorts bis zum einstündigen Kochkurs.

Den ganzen Ablauf mit Schaubildern gehen wir auf Wie Pluck funktioniert durch. Der schnellste Weg zum Verständnis bleibt aber das Ausprobieren: Adresse eines Kochvideos einfügen und schauen, was herauskommt.

Die Zukunft des Rezeptesammelns liegt nicht in Lesezeichen und Screenshots, die verschwinden, wenn sich auf der Plattform etwas ändert. Sie liegt in strukturierten Daten, klug herausgeholt aus dem Format, in dem das Rezept eben zufällig steckt – auch aus dem Video. Die KI ist so weit. Die Rezepte warten.

Welche Rezepte-Apps KI einsetzen und wie gut das gelingt, steht in unserem Text zur Rezepte-App mit KI, in der besten Rezepte-App für TikTok oder im großen Vergleich der Rezepte-Apps.

Willst du die Extraktion per KI selbst ausprobieren? Pluck gibt es für iOS und Android. Bei Google Play laden. Auch für iOS.