Wie KI Kochvideos liest: ein Blick in Plucks multimodale Extraktion

Stell dir ein 30-Sekunden-Reel auf Instagram vor, in dem jemand Letscho mit Ei macht. Die Kamera kippt nach unten in eine gusseiserne Pfanne. Eine Hand schlägt zwei Eier in die köchelnde Paprika-Tomaten-Soße. Zwei Sekunden lang steht Schrift im Bild – „1 Dose stückige Tomaten” –, während im Ton zu hören ist: „Ich mach da immer noch einen halben Teelöffel Paprikapulver rein, edelsüß.” In der Bildunterschrift steht kein Rezept. Einen Blogbeitrag dazu gibt es auch nicht. Das ganze Rezept existiert als Knäuel aus Ton, Bewegtbild und kurz aufblitzender Schrift.

Wie macht eine KI daraus ein strukturiertes Rezept mit Zutatenliste und nummerierten Schritten?

Das ist die Frage, um die sich bei Pluck alles dreht, und die Antwort steckt in einem Ablauf, der aufwendiger ist, als die meisten vermuten. Wenn du unseren Text darüber gelesen hast, ob KI Rezepte aus Videos extrahieren kann, kennst du den Überblick. Hier geht es eine Ebene tiefer: um die technischen Entscheidungen, um die Abwägungen zwischen den einzelnen Wegen, um die Rechnung hinter dem Konfidenzwert und darum, warum jede Plattform eine eigene Strategie verlangt.

Was „ansehen” für eine KI eigentlich bedeutet

Wenn ein Mensch ein Kochvideo schaut, passiert alles gleichzeitig. Du siehst die Zutaten, hörst die Anweisungen, liest die Einblendung und setzt das Rezept nebenbei im Kopf zusammen. Dein Gehirn führt all diese Eingänge zusammen, ohne dass du darüber nachdenkst.

Eine KI muss dasselbe leisten, nur ausdrücklich und in Etappen. Plucks Ablauf zerlegt ein Kochvideo in fünf getrennte Signalkanäle, verarbeitet jeden für sich und legt sie anschließend in einem Schritt übereinander, der Widersprüche auflöst und Lücken schließt. Die fünf Kanäle: Auswertung der Videobilder, Spracherkennung auf der Tonspur, Texterkennung für eingeblendete Schrift, Untertitel und Bildunterschriften, Metadaten.

Jeder Kanal hat eigene Stärken. Jeder scheitert auf eigene Weise. Die Kraft steckt in der Kombination.

Bildauswahl: die Küche sehen

Die KI verarbeitet nicht jedes Bild eines Videos. Ein zehnminütiges YouTube-Video mit 30 Bildern pro Sekunde besteht aus 18.000 Einzelbildern, von denen die allermeisten fast identisch sind: Die Kamera steht auf dem Stativ und schaut einem Topf beim Köcheln zu. Alle zu verarbeiten kostet Rechenzeit und bringt kein zusätzliches Signal.

Stattdessen wählt Pluck klug aus. Das System erkennt Szenenwechsel: den Schnitt vom Schneidebrett an den Herd, den Zoom auf den Messbecher, die Titelkarte, die ins Bild fährt. An diesen Übergängen ist die Informationsdichte am höchsten. Zusätzlich wird in festen Abständen abgetastet, damit auch ruhige Passagen erfasst werden, in denen jemand ohne dramatische Schnitte Zutaten auf der Arbeitsplatte aufreiht.

Wonach sucht die KI in einem ausgewählten Bild? Nach mehrerem gleichzeitig. Nach der Anordnung der Zutaten: ein Brett mit erkennbarem Gemüse. Nach Mengen, die an Messbechern, Löffeln oder der Küchenwaage abzulesen sind. Nach Verpackungen, an denen sich ein bestimmtes Produkt festmachen lässt. Nach Schrift, die jemand ins Bild gelegt hat. Nach dem Zustand des Essens in den einzelnen Phasen: roh, angebräunt in der Pfanne, fertig auf dem Teller. Jede dieser Beobachtungen wird zu einem Datenpunkt, der ins fertige Rezept einfließt.

Unverzichtbar ist die Bildauswertung für eine bestimmte Sorte Inhalte: das stumme Kochvideo. Diese ASMR-artigen Clips, auf YouTube wie auf Instagram beliebt, zeigen jemanden, der vollkommen schweigend kocht. Keine Erzählung. Manchmal keine Schrift. Nur Hände, Zutaten, Handgriffe. Ohne Bildauswertung sind solche Videos vollständig undurchdringlich. Mit ihr erkennt die KI die meisten Zutaten und rekonstruiert die Reihenfolge der Arbeitsschritte allein aus dem, was zu sehen ist.

Warum Bildrate und Auflösung zählen

Nicht jede Quelle ist gleich gut. Ein YouTube-Upload in 4K liefert scharfe, gut lesbare Einblendungen und erkennbare Verpackungen. Ein niedrig aufgelöstes TikTok, das schon durch drei Plattformen komprimiert wurde, hat womöglich Schrift, die selbst ein Mensch kaum entziffert. Plucks Ablauf passt die Schwellen der Texterkennung an die Auflösung der Quelle an. Bei schlechterem Material fallen die Textwerte niedriger aus, und das System stützt sich stärker auf Ton und Bildunterschrift, um das auszugleichen.

Spracherkennung: dem Kochenden zuhören

Für die meisten Kochvideos ist die Tonspur der reichhaltigste Kanal. Es wird beim Kochen erzählt, und in dieser Erzählung steckt der Kern des Rezepts: Zutaten, Mengen, Zeiten, Temperaturen, Handgriffe. „250 Gramm Mehl, gesiebt.” „Das Hähnchen bei mittlerer bis hoher Hitze etwa vier Minuten pro Seite anbraten.” „Jetzt kommt ein Teelöffel geräuchertes Paprikapulver dazu. Normales tut es auch, wenn du nichts anderes im Schrank hast.”

Mit dem Durcheinander einer echten Küche kommt heutige Spracherkennung erstaunlich gut zurecht. Brutzelndes Öl, laufendes Wasser, klappernde Töpfe, Musik im Hintergrund: Die Modelle filtern das heraus und ziehen die Stimme frei. Dialekt, Sprechtempo und Genuschel, an denen ältere Systeme reihenweise gescheitert sind, sind für die aktuelle Generation kein Hindernis.

Es wird aber nicht bloß mitgeschrieben, sondern Küchensprache ausgewertet. Das System versteht, dass „ein Stück Butter dazu” die Butter als Zutat meint und keinen Handgriff. Es weiß, dass „lass das mal zwanzig Minuten ziehen” eine Zeitangabe ist. Es erkennt, dass „mit Salz und Pfeffer abschmecken” Salz und Pfeffer zu Zutaten macht, auch wenn keine Menge gefallen ist.

Auch beiläufige Bemerkungen enthalten echte Information. Sagt jemand „meine Oma hat hier immer Schmalz genommen, ich nehme Butter”, trägt die KI die Butter korrekt als verwendete Zutat ein und merkt sich den Zusammenhang der Ersetzung.

Texterkennung: lesen, was ins Bild geschrieben wird

Ein großer Teil der kurzen Rezeptvideos – TikTok, Instagram Reels, YouTube Shorts – nutzt eingeblendete Schrift als wichtigstes Mittel der Mitteilung. Ein angesagtes Musikstück läuft, während jemand Text über das Bild legt: „250 g Mehl”, „100 g Zucker”, „180 °C, 25 Min.” Das Rezept lebt vollständig in dieser Textebene.

Plucks Texterkennung geht über das reine Erkennen von Zeichen hinaus. Sie ordnet den gelesenen Text räumlich und zeitlich ein. Große Schrift oben im Bild, gleich zu Beginn: vermutlich der Titel des Rezepts. Kurz aufblitzender Text, während eine Zutat dazukommt: vermutlich eine Menge. Text, der über mehrere Schnitte stehen bleibt: vermutlich eine mitlaufende Zutatenliste.

Die zeitliche Ebene ist entscheidend. Eine Einblendung, die genau in dem Moment erscheint, in dem Milch in eine Schüssel läuft, wird mit dieser Handlung verknüpft. Steht dort „200 ml Vollmilch” und sagt der Ton nur „jetzt kommt Milch dazu”, nimmt die KI die genauere Lesart aus dem Bild und die Bestätigung aus dem Ton, dass die Milch an dieser Stelle dazugehört.

Das 300-Millisekunden-Problem

Manche schneiden so, dass Schrift 300 Millisekunden im Bild steht – kaum lang genug für ein menschliches Auge, geschweige denn für eine saubere Verarbeitung. Plucks Bildauswahl zielt deshalb ausdrücklich auf den Moment, in dem Text ins Bild kommt, und tastet dort dichter ab. Trotzdem bleibt extrem schnelles Blinken eine der härteren Nüsse. Solche Extraktionen bekommen einen niedrigeren Konfidenzwert, damit du weißt, dass du nachsehen solltest.

Untertitel und Metadaten: die Ebene der Gegenprobe

Untertitel, Videobeschreibungen und die Angaben der Plattform bilden den vierten und fünften Kanal. Sie gelten oft als zweitrangig, spielen aber eine entscheidende Rolle als Gegenprobe, die Daten aus den Hauptkanälen bestätigt und anreichert.

Automatisch erzeugte Untertitel sind im Grunde die Spracherkennung der Plattform selbst. Sie sind fehlerhaft – die automatischen Untertitel von YouTube sind berüchtigt dafür, Küchenvokabular zu verstümmeln –, liefern aber eine unabhängige zweite Meinung darüber, was gesagt wurde. Sind sich Plucks eigene Transkription und YouTubes Untertitel bei „zwei Esslöffel Sojasoße” einig, steigt der Wert dieses Datenpunkts. Widersprechen sie sich, sieht das System in den Zusammenhang und entscheidet, was wahrscheinlicher stimmt.

Selbst hochgeladene Untertitel sind wertvoller, weil sie von Hand geprüft wurden. YouTube-Beschreibungen enthalten häufig ganze oder halbe Zutatenlisten, Zeitmarken oder Links auf einen Blogbeitrag mit dem geschriebenen Rezept. TikTok-Bildunterschriften nennen wenigstens die wichtigsten Zutaten oder den Namen des Gerichts. All dieser Text wird ausgewertet und mit den anderen Kanälen abgeglichen.

Die Zusammenführung: wo die Signale verschmelzen

Das ist der Teil, der aus dem Ablauf mehr macht als die Summe seiner Teile. Nachdem jeder Kanal für sich verarbeitet wurde, bringt die Zusammenführung alle fünf Datenströme zusammen und löst die Widersprüche auf.

Ein konkretes Beispiel. Jemand kocht auf YouTube ein Rindergulasch. Das liefern die einzelnen Kanäle:

Die Bildauswertung erkennt Rindfleisch, Zwiebeln, Paprika, Tomatenmark und mehrere Gewürze auf der Arbeitsplatte. Und einen Messlöffel.
Die Spracherkennung hört „ungefähr einen Esslöffel Paprikapulver” und „einen halben Liter Rinderbrühe dazu”.
Die Texterkennung liest die Einblendung „1 EL Paprikapulver, edelsüß”.
Die automatischen Untertitel machen daraus „einen Esslöffel Papierkugeln” (weil Küchenvokabular sie regelmäßig überfordert).
Die Beschreibung führt „Paprikapulver” in einer unvollständigen Zutatenliste, ohne Menge.

Die Zusammenführung macht daraus „1 EL Paprikapulver, edelsüß”: die Menge aus Ton und Einblendung, die sich decken, die Zutat aus Ton, Einblendung und Beschreibung, also aus drei übereinstimmenden Quellen – und der verunglückte Untertitel fliegt raus. Sein Fehler richtet keinen Schaden an, weil die übrigen Kanäle ihn überstimmen.

Diese Auflösung läuft für jede Zutat, jede Menge und jeden Schritt des Rezepts. Jeder Datenpunkt bekommt einen Wert danach, wie viele Kanäle beigetragen haben und wie einig sie waren.

Der Konfidenzwert: wissen, was man nicht weiß

Nicht jede Extraktion ist gleich verlässlich, und so zu tun als ob, würde Vertrauen zerstören. Pluck vergibt für jede Extraktion einen Konfidenzwert, und der wirkt sich unmittelbar darauf aus, was du zu sehen bekommst.

Ist der Wert hoch, haben sich mehrere Kanäle gegenseitig bestätigt und das Rezept ist vollständig; dann geht das Speichern schnell und ohne großes Durchsehen. Ist er niedriger, wird angezeigt, bei welchen Teilen des Rezepts sich das System weniger sicher ist. Vielleicht war der Ton verrauscht und die KI weiß nicht, ob „ein Teelöffel” oder „ein Esslöffel” Cayennepfeffer gemeint war. Diese Zutat wird markiert, damit du sie prüfst.

In den Wert fließt auch die Vollständigkeit ein. Ein Rezept mit Titel, zwölf sauber angegebenen Zutaten und acht nummerierten Schritten steht besser da als eines mit Titel, vier vagen Zutaten und einem einzigen Absatz Anleitung. Vollständigkeit und Genauigkeit zählen beide.

Warum jede Plattform eine eigene Strategie braucht

Ein 45-minütiges YouTube-Video und ein 15-Sekunden-TikTok sind grundverschiedene Aufgaben, auch wenn in beiden ein Rezept steckt. Plucks Ablauf stellt sich gleich mehrfach auf die Quelle ein.

YouTube-Videos sind länger, besser erzählt und haben oft Text in der Beschreibung. Die Spracherkennung ist meist der führende Kanal. Die KI hat mehr Material, muss aber auch mit Videos umgehen, in denen mehrere Rezepte stecken („5 schnelle Feierabendgerichte”), und dafür die Grenzen zwischen ihnen finden. Wie das im Einzelnen abläuft, steht in unserem Ratgeber zu Rezepten aus YouTube-Videos.

TikTok-Videos sind kurz, oft laut und stützen sich stark auf eingeblendete Schrift. Hier gewinnt die Texterkennung an Gewicht. Auf der Tonspur läuft häufig ein angesagtes Lied statt einer Erzählung, entsprechend wenig Signal kommt von dort. Die Bildauswertung zählt mehr, weil im knappen Format jedes Bild anteilig mehr trägt. Und wie wir schon ausführlich beschrieben haben, ist TikToks eigene Speicherfunktion für die dauerhafte Ablage von Rezepten unzuverlässig.

Instagram Reels liegen dazwischen. Häufig kommen Erzählung und Einblendung zusammen, und im Feld für die Bildunterschrift steht regelmäßig das vollständige Rezept in Textform. Wenn jemand es dort ausschreibt, ist das die verlässlichste Quelle, und die Auswertung des Videos dient dann der Bestätigung statt der Extraktion.

Modellwahl: das passende Werkzeug für die jeweilige Aufgabe

Pluck verlässt sich nicht auf ein einziges Modell. Verschiedene Modelle haben verschiedene Stärken, und der Ablauf gibt eine Extraktion an den Anbieter, der zum Inhalt passt.

Zur Auswahl stehen unter anderem Claude, GPT und Gemini. Manche Modelle sind stärker im Sehen und kommen mit vollgestellten Bildern zurecht, in denen mehrere Einblendungen vor unruhigem Hintergrund liegen. Andere verstehen gesprochene Sprache besser, auch bei starkem Dialekt oder Störgeräuschen. Wieder andere glänzen bei sauber strukturierter Ausgabe und liefern ordentliches JSON mit normalisierten Mengenangaben.

Entschieden wird anhand der Inhaltsanalyse aus den frühen Stufen des Ablaufs. Ein Video mit klarer Erzählung und gutem Ton geht an ein Modell mit starkem Sprachverständnis. Ein stummes Kochvideo mit dichter Schrift im Bild geht an eines mit besseren Augen. Von dieser Verteilung merkst du nichts; du bekommst schlicht das beste Ergebnis, das drin ist.

Warum das zählt, wenn du Abendessen kochen willst

Der ganze Aufwand dient einem einzigen praktischen Zweck: Du hast in einem Video ein Rezept gesehen und willst es kochen. Du willst nicht vierzigmal anhalten und zurückspulen. Du willst es nicht abfotografieren und in der Fotomediathek verlieren. Und abtippen willst du es auch nicht.

Weil der Ablauf mehrere Kanäle nutzt, kommt Pluck mit der unaufgeräumten Wirklichkeit zurecht, in der Rezepte heute im Netz stehen. Eben nicht ordentlich gesetzt auf einem Foodblog mit Druckknopf, sondern schnell über brutzelnde Pfannen gesprochen, zwei Sekunden ins Bild geblitzt, halb in die Bildunterschrift geschrieben und nirgends festgehalten. Die KI sieht, hört, liest und gleicht ab, damit du es nicht musst. Heraus kommt eine saubere Rezeptkarte: Titel, Zutaten, Schritte, Zeiten, Portionen. Dasselbe Format, ob die Quelle ein 45-minütiger YouTube-Kurs war oder ein 15-Sekunden-TikTok. Wie alle fünf Wege der Extraktion zusammenspielen, steht auf der Seite Wie Pluck funktioniert.

Die Technik ist tatsächlich neu. Vor zwei Jahren war davon nichts in einer Qualität möglich, mit der sich wirklich kochen ließ. Heute hat multimodale KI die Grenze von der Forschungsdemo zum brauchbaren Küchenwerkzeug überschritten. Und es wird weiter besser: Die Modelle legen zu, der Konfidenzwert wird treffsicherer, und die Zahl der Videos, aus denen nur ein lückenhaftes Rezept herauskommt, sinkt mit jeder Aktualisierung.

Willst du die multimodale Extraktion in Aktion sehen? Pluck gibt es für iOS und Android. Bei Google Play laden. Adresse eines Kochvideos einfügen und zusehen, wie die KI daraus ein Rezept macht, aus dem sich kochen lässt. Auch für iOS.