Kann KI Rezepte aus Videos extrahieren? Ein Blick in die Technik

Die eine Frage, die uns am häufigsten gestellt wird: Kann KI Rezepte aus Videos extrahieren? Nicht aus einem sauber gesetzten Foodblog, sondern aus 45 Sekunden TikTok, in denen jemand im Eiltempo redet, Zutaten in die Pfanne wirft, und das „Rezept” ist das, was du erwischst, bevor das Video von vorn losläuft. Die kurze Antwort lautet ja. Moderne multimodale KI kann sich ein Kochvideo ansehen, die Erzählung mithören, die eingeblendete Schrift lesen und daraus ein strukturiertes Rezept mit Zutaten, Mengen und nummerierten Schritten bauen. Spannender als das Was ist allerdings das Wie: Es erklärt, warum es funktioniert und wo die Sache noch hakt.

Dieser Text ist der technische Begleiter zu unserem Ratgeber über Rezepte aus sozialen Netzwerken, in dem es ums Warum und um den Ablauf geht.

Die fünf Quellen in einem Kochvideo

Ein Kochvideo besteht aus mindestens fünf übereinandergelegten Informationsquellen, und ein brauchbares System zapft alle fünf an.

1. Die Videobilder

Die KI sieht sich nicht jedes einzelne Bild an. Stattdessen wählt sie Schlüsselbilder aus, in Abständen und immer dann, wenn sich im Bild etwas Grundlegendes ändert, etwa beim Schnitt von der Vorbereitung an den Herd.

Auf diesen Bildern sucht die KI nach Zutaten, die auf Brett oder Platte liegen, nach Mengen, die an Messbechern oder auf der Waage abzulesen sind, nach eingeblendeter Schrift, mit der Mengen oder Schrittnummern gezeigt werden, nach Beschriftungen auf Verpackungen und nach dem Zustand des Essens in den einzelnen Phasen: roh, angebräunt, köchelnd, angerichtet.

Besonders wertvoll ist das bei der wachsenden Zahl stummer Kochvideos im ASMR-Stil, die sonst für jede Extraktion vollständig undurchdringlich wären.

2. Die Tonspur

Bei der überwiegenden Mehrheit der Kochvideos ist die Spracherkennung das Rückgrat. Die meisten Leute reden beim Kochen, und in diesem Reden steckt das eigentliche Rezept: „das Hähnchen bei mittlerer bis hoher Hitze etwa vier Minuten pro Seite anbraten”.

Mit dem Durcheinander einer echten Küche kommen heutige Modelle gut zurecht. Brutzelndes Öl, laufendes Wasser, klappernde Töpfe werden herausgefiltert. Dialekte und Sprechweisen, an denen ältere Systeme scheiterten, sind kein Hindernis mehr. Und es wird nicht bloß mitgeschrieben, sondern verstanden: dass „ein Stück Butter dazu” eine Zutat meint und „lass das mal zwanzig Minuten laufen” eine Zeitangabe ist.

Viele Rezepte auf TikTok gibt es ausschließlich als gesprochenes Wort: Da redet jemand, ohne eine Zeile einzublenden und ohne das Rezept irgendwo hinzuschreiben. Ohne Auswertung der Tonspur bliebe so ein Rezept für immer im Video eingeschlossen.

3. Eingeblendete Schrift (OCR)

Sehr viele Leute, auf TikTok, in Instagram Reels und in YouTube Shorts ohnehin, legen Text direkt über ihr Video: am Anfang eine Zutatenliste, zwischendurch die Menge zu dem, was gerade dazukommt, oder eine Schrittnummer während der Zubereitung.

Die KI liest diesen Text per Texterkennung, geht dabei aber über reines OCR hinaus: Sie versteht Anordnung und Zusammenhang. Große Schrift oben im Bild am Anfang des Videos? Vermutlich der Titel.

Das ist deshalb so wichtig, weil Kurzvideos, die einem Trend folgen, oft mit Text über einem gerade angesagten Musikstück arbeiten – das Rezept lebt dann vollständig in der Textebene.

4. Untertitel und Bildunterschriften

Untertitel sind eine eigene Quelle, nicht dasselbe wie die Auswertung der Tonspur. Automatisch erzeugte Untertitel sind letztlich die Spracherkennung der Plattform selbst: unvollkommen, aber als Gegenprobe brauchbar. Untertitel, die jemand selbst hochgeladen hat, wurden von Hand geprüft und sind meist genauer.

Auf die automatischen Untertitel der Plattformen ist Pluck nicht angewiesen: Es schreibt den Ton selbst mit und liest Bildunterschrift und Beschreibung der Urheberin. Wo es aber zeitlich gesetzte Untertitel gibt, zeigen sie gut, warum mehrere Quellen helfen. Jeder Untertitelabschnitt ist im Video verortet: Steht bei 2:34 „jetzt der Knoblauch” und zeigt das Bild bei 2:34 Knoblauch, der in die Pfanne wandert, hat die KI zwei voneinander unabhängige Bestätigungen für denselben Schritt.

5. Metadaten und Beschreibung

In YouTube-Beschreibungen stehen häufig Zutatenlisten, ganz oder teilweise, dazu Links auf einen Blogbeitrag mit dem geschriebenen Rezept oder Zeitmarken für die einzelnen Abschnitte. TikTok-Bildunterschriften nennen die wichtigsten Zutaten oder wenigstens den Namen des Gerichts. In Instagram-Bildunterschriften stehen manchmal komplette Rezepte am Stück.

Diese Metadaten sind Quelle und Kontrollinstanz zugleich: Eine konkrete Menge in der Beschreibung kann eine vage Ansage im Ton festmachen.

Wie die KI das zusammenführt

Keine einzelne Quelle liefert das ganze Rezept, deshalb gleicht die KI alle fünf ab und nimmt jeweils die genaueste und verlässlichste Fassung jeder Angabe.

Angenommen, jemand macht auf TikTok eine schnelle Pastasauce. Gesprochen: „eine Tasse Mehl”. Eingeblendet: „1 Tasse Mehl, Type 405”. In der Beschreibung: „Mehl”. Daraus wird „1 Tasse Weizenmehl Type 405” – die Menge aus dem Ton, die Sorte aus der Einblendung, bestätigt durch die Beschreibung.

Genau dieser Abgleich über mehrere Kanäle ist der grundsätzliche Vorteil gegenüber jedem Werkzeug, das nur eine Quelle kennt. Aus TikTok und Instagram importieren inzwischen etliche Rezepte-Apps, die meisten lesen dabei aber nur die Bildunterschrift; einige wenige wie ReciMe, Honeydew und Deglaze nutzen zusätzlich das Transkript der Tonspur, und Deglaze gibt an, auch eingeblendeten Text zu lesen. Pluck nimmt, was da ist, gewichtet nach Verlässlichkeit und Genauigkeit, und holt so das Vollständigste heraus, was der Inhalt hergibt.

Heraus kommt ein durchstrukturiertes Rezept: Titel, Zutaten mit Menge und Einheit, nummerierte Schritte, Vorbereitungszeit, Kochzeit, Gesamtzeit, Portionen, Schlagwörter zur Küche. Es ist dasselbe saubere Format, das auch bei einem gut gebauten Foodblog herauskommt, und deshalb zählt die Antwort über das Speichern hinaus: Wie jedes andere Rezept kann ein gespeichertes Video in den Essensplan der Woche wandern, auf eine Einkaufsliste, die du teilen kannst, und in den Kochmodus, in dem Timer direkt aus dem jeweiligen Schritt starten. Außerdem gibt es einen ausführlichen Vergleich von KI-Extraktion und Web-Clipping.

Und wie genau ist das Ganze?

Wie gut eine Extraktion ausfällt, hängt stark von der Quelle ab. Ein YouTube-Video mit klarer Sprache, eingeblendeter Schrift und vollständigem Rezept in der Beschreibung ergibt ein sehr genaues Ergebnis, weil alle fünf Quellen sich gegenseitig bestätigen. Ein hektisches TikTok mit lauter Musik und ohne jede Einblendung ergibt ein wackligeres.

Deshalb gibt es bei Pluck für jede Extraktion einen Konfidenzwert. Er richtet sich danach, wie viele Quellen etwas beigetragen haben, wie gut sie zusammenpassten und wie vollständig das Rezept am Ende ist. Ein Rezept, bei dem drei Quellen unabhängig voneinander dieselbe Menge nennen, steht besser da als eines, bei dem nur eine verrauschte Tonspur zur Verfügung stand.

Ist der Wert hoch, kannst du das Rezept in aller Regel so speichern, wie es ist. Ist er niedriger, legt dir Pluck das Rezept vor dem Speichern noch einmal vor: Du gleichst die Zutaten mit dem Video ab, korrigierst schiefe Mengen und ergänzt, was gefehlt hat.

Ist die Extraktion per KI fehlerfrei? Nein. Nur: Die Alternative heißt Video ansehen, alle paar Sekunden anhalten und alles selbst abtippen. Das kostet 20 bis 40 Minuten pro Video und geht ebenfalls schief. Die KI legt dir in Sekunden einen belastbaren ersten Entwurf hin, das Durchsehen dauert ein, zwei Minuten.

Wo die Video-Extraktion an ihre Grenzen stößt

Handwerk ohne Mengenangaben. Manche kochen aus dem Handgelenk und sagen nie eine Menge: eine Handvoll Käse, Öl, bis der Boden bedeckt ist, abschmecken. Die KI erkennt die Zutaten, kann die Mengen aus dem Bild aber nicht zuverlässig schätzen. „Nach Geschmack” ist dann manchmal die ehrlichste Angabe, die möglich ist.

Schlechter Ton oder laute Musik. Wenn ein angesagter Musikschnipsel lauter ist als die Stimme, wird die Spracherkennung schlechter. Eingeblendete Schrift und Beschreibung tragen weiter, aber wenn auch die dünn sind, bleibt das Rezept lückenhaft.

Ungenaue Sprache. „Ein Schuss Sahne”, „ein ordentlicher Schluck Wein”, „so viel Brühe, dass alles bedeckt ist”. Geübte Köchinnen und Köche setzen solche Anweisungen aus dem Gefühl heraus um, nur lassen sie sich nicht in Zahlen gießen. Die KI übernimmt sie, wie sie gesagt wurden, statt eine Genauigkeit zu erfinden, die es nicht gibt.

Lange Videos mit mehreren Rezepten. In einem 20-minütigen „Was ich an einem Tag esse” stecken vier oder fünf getrennte Rezepte. Die KI muss dann erst die Grenzen zwischen ihnen finden, und das ist schwerer, als ein einzelnes Rezept herauszuziehen. Es wird besser, aber solche Videos bleiben der härtere Fall.

Schnittgewitter. Manche Kurzvideos schneiden im Halbsekundentakt, Einblendungen stehen 300 Millisekunden. Bei dem Tempo entgeht selbst kluger Bildauswahl etwas.

Warum es Jahr für Jahr besser wird

Die Qualität der Extraktion wächst aus zwei Richtungen.

Erstens werden die Modelle besser, Bildmodelle ebenso wie Spracherkennung und Sprachmodelle. Was vor einem Jahr mittelmäßig ausfiel, gelingt heute gut. Pluck arbeitet mit mehreren Anbietern, unter anderem Claude, GPT und Gemini, und kann eine Extraktion an das Modell geben, das mit dieser Art von Inhalt am besten zurechtkommt.

Zweitens zeigt dir der Konfidenzwert, wo sich ein zweiter Blick lohnt. Ist er niedrig, siehst du das Rezept durch und korrigierst es, und die Korrekturen landen in deiner Kopie. Zum Training von KI-Modellen werden sie nicht verwendet: Die KI-Anbieter, mit denen Pluck arbeitet, trainieren nicht mit deinen Daten. Besser wird es durch bessere Modelle und durch Feinarbeit an der Pipeline selbst.

Wie das bei Kochvideos auf YouTube im Einzelnen abläuft, steht in einem eigenen Text.

Diese Technik ist tatsächlich neu

Vor zwei Jahren gab es keinen anderen Weg, ein Rezept aus einem Video zu holen, als es selbst abzutippen. Modelle, die Videobilder, gesprochene Sprache und eingeblendete Schrift gleichzeitig verstehen, und das auf einem Niveau, das fürs Kochen taugt, existierten schlicht nicht.

Heute teilst du einen Link oder fügst ihn ein und bekommst ein strukturiertes Rezept, meist innerhalb von Sekunden. Längere Videos laufen im Hintergrund weiter, und sobald das Rezept fertig ist, meldet sich Pluck mit einer Benachrichtigung – die App musst du dafür nicht offen lassen. Pluck verarbeitet Inhalte von YouTube, TikTok, Instagram und Facebook, auch Foto-Karussells aus Instagram und TikTok, die es als ein Rezept liest. Es klappt in mehreren Sprachen, von 30-Sekunden-Shorts bis zu Kochvideos von bis zu 30 Minuten Länge. Den ganzen Ablauf gehen wir auf Wie Pluck funktioniert durch.

Die Zukunft des Rezeptesammelns liegt nicht in Lesezeichen und Screenshots, die verschwinden, wenn sich auf der Plattform etwas ändert. Sie liegt in strukturierten Daten, klug herausgeholt aus dem Format, in dem das Rezept eben zufällig steckt – auch aus dem Video.

Welche Rezepte-Apps KI einsetzen und wie gut das gelingt, steht in unserem Text zur Rezepte-App mit KI, in der besten Rezepte-App für TikTok oder im großen Vergleich der Rezepte-Apps.

Willst du die Extraktion per KI selbst ausprobieren? Pluck gibt es für iOS und Android. Bei Google Play laden. Auch für iOS.