Comment l'IA analyse les vidéos de cuisine : dans les rouages de l'extraction multimodale de Pluck

Imaginez un Reel de trente secondes sur Instagram : quelqu’un prépare une piperade. La caméra bascule vers le bas, dans une poêle en fonte. Une main casse deux œufs dans les poivrons qui compotent avec les tomates. Une incrustation reste deux secondes à l’écran — « 1 boîte de tomates concassées » — pendant qu’on entend « moi j’ajoute toujours une demi-cuillère à café de piment d’Espelette ». Aucune recette dans la légende. Aucun article de blog derrière. La recette entière n’existe que sous la forme d’un enchevêtrement de son, d’images et de texte qui passe en un clin d’œil.

Comment une IA transforme-t-elle cela en une recette structurée, avec liste d’ingrédients et étapes numérotées ?

C’est la question autour de laquelle tourne tout le travail de Pluck, et la réponse tient dans une chaîne de traitement plus élaborée qu’on ne l’imagine. Si vous avez lu notre article sur la capacité de l’IA à extraire une recette d’une vidéo, vous en avez la vue d’ensemble. Ici, on descend d’un étage : les arbitrages techniques, les différences entre les modes d’extraction, le calcul derrière l’indice de confiance, et les raisons pour lesquelles chaque plateforme exige sa propre stratégie.

Ce que « regarder » veut dire pour une IA

Quand un humain regarde une vidéo de cuisine, tout arrive en même temps. Vous voyez les ingrédients, vous entendez les consignes, vous lisez l’incrustation, et vous assemblez la recette dans votre tête sans y penser. Votre cerveau fusionne toutes ces entrées d’office.

Une IA doit accomplir la même chose, mais de façon explicite et par étapes. La chaîne de Pluck recueille cinq types de signaux dans une vidéo de cuisine, puis les confie à un modèle d’IA multimodal qui les lit ensemble, tranche les contradictions et comble les trous. Les cinq signaux : les images de la vidéo, le son (transcrit en texte), le texte affiché à l’écran, la légende et la description, et les métadonnées de la publication.

Chaque canal a ses forces. Chacun échoue à sa manière. La puissance vient de la combinaison.

L’échantillonnage des images : voir la cuisine

L’IA ne traite pas chaque image de la vidéo. Une vidéo YouTube de dix minutes à 30 images par seconde en compte 18 000, dont l’immense majorité sont quasiment identiques : la caméra est sur un trépied et regarde une casserole frémir. Toutes les traiter coûterait du calcul sans apporter le moindre signal supplémentaire.

Pluck retient donc une petite sélection d’images clés, de l’ordre de 8 à 10 par vidéo. La détection de scènes repère les moments où l’image change : la coupe entre la planche à découper et la plaque de cuisson, le zoom sur le verre doseur, le carton de titre qui s’affiche. C’est à ces charnières que la densité d’information est la plus forte. Pluck garde aussi systématiquement une image des toutes premières secondes, là où se trouve d’ordinaire le carton de titre, et une de la fin, où beaucoup de créateurs affichent un récapitulatif de la recette.

Que cherche l’IA dans une image prélevée ? Plusieurs choses à la fois. La disposition des ingrédients : une planche avec des légumes reconnaissables. Les quantités lisibles sur un verre doseur, une cuillère, une balance. Les étiquettes qui permettent d’identifier un produit précis. Le texte que le créateur a posé sur l’image. L’état de l’aliment à chaque stade : cru, en train de colorer dans la poêle, dressé dans l’assiette. Chacune de ces observations devient une donnée qui alimente la recette finale.

L’analyse des images est indispensable pour une catégorie précise de contenus : la vidéo de cuisine muette. Ces plans façon ASMR, populaires sur YouTube comme sur Instagram, montrent quelqu’un qui cuisine dans un silence complet. Aucun commentaire. Parfois aucune incrustation. Juste des mains, des ingrédients, des gestes. Sans analyse des images, ces vidéos sont parfaitement opaques. Avec elle, l’IA identifie la plupart des ingrédients et reconstitue l’ordre des opérations à partir du seul témoignage visuel.

Pourquoi la cadence et la définition comptent

Toutes les sources ne se valent pas. Une vidéo YouTube en 4K livre des incrustations nettes et des emballages identifiables. Un TikTok en basse définition, déjà compressé par trois plateformes successives, peut afficher un texte qu’un humain lui-même déchiffre à peine. Quand le texte d’une image ne se lit pas de façon fiable, l’extraction doit s’appuyer sur le son et la légende, et l’indice de confiance en tient compte.

La transcription du son : écouter celui qui cuisine

Pour la plupart des vidéos de cuisine, la bande son est le canal le plus riche. Les créateurs commentent en cuisinant, et ce commentaire contient le cœur de la recette : ingrédients, quantités, durées, températures, gestes. « 250 g de farine T55, tamisée. » « Saisissez le poulet à feu moyen-vif, environ quatre minutes par face. » « Là j’ajoute une cuillère à café de paprika fumé. Du paprika ordinaire fera l’affaire si vous n’avez que ça. »

La reconnaissance vocale d’aujourd’hui encaisse remarquablement bien le désordre sonore d’une vraie cuisine. L’huile qui grésille, l’eau qui coule, les casseroles qui s’entrechoquent, la musique de fond : les modèles filtrent tout cela et dégagent la voix. Les accents, les débits rapides et les phrases mangées, qui mettaient en échec les anciens systèmes, ne posent plus de problème à la génération actuelle.

Mais l’IA ne se contente pas de transcrire des mots : elle décode la langue de la cuisine. Elle comprend que « ajoutez une noix de beurre » fait du beurre un ingrédient et non un geste. Elle sait que « laissez aller une vingtaine de minutes » est une indication de durée. Elle reconnaît que « salez, poivrez » place le sel et le poivre dans la liste, même si aucune quantité n’a été énoncée.

La transcription attrape aussi les remarques en passant, qui contiennent de vraies informations. Quand quelqu’un dit « ma grand-mère mettait du saindoux ici, moi je prends du beurre », l’IA inscrit correctement le beurre comme ingrédient utilisé, tout en gardant le contexte de la substitution.

La reconnaissance du texte incrusté : lire ce que les créateurs écrivent

Une grande partie des vidéos de recettes au format court — TikTok, Instagram Reels, YouTube Shorts — utilise l’incrustation comme moyen principal de communication. Un son à la mode tourne pendant que le créateur empile du texte à l’écran : « 250 g de farine », « 100 g de sucre », « 180 °C pendant 25 min ». La recette vit entièrement dans cette couche de texte.

Pluck ne fait pas tourner d’étape de reconnaissance de caractères à part. Le modèle de vision lit le texte de chaque image clé comme le ferait une personne, avec la mise en page et le contexte. Une grande police en haut du cadre, au tout début : probablement le titre de la recette. Un texte qui apparaît une seconde pendant qu’un ingrédient est ajouté : probablement une quantité. Un texte qui persiste à travers plusieurs coupes : probablement une liste d’ingrédients qui défile.

La dimension temporelle est décisive. Une incrustation qui apparaît à l’instant précis où le lait est versé dans un saladier se trouve rattachée à ce geste. Si l’incrustation dit « 20 cl de lait entier » quand le son dit seulement « ajoutez du lait », l’IA retient la lecture précise de l’image et y ajoute la confirmation du son : c’est bien à cette étape que le lait intervient.

Le problème des 300 millisecondes

Certains montent leurs vidéos de façon que le texte reste 300 millisecondes à l’écran — à peine de quoi permettre à un œil humain de le lire, encore moins de le traiter proprement. La détection de scènes attrape bon nombre de changements d’incrustation, car un nouveau texte arrive souvent avec une coupe, mais une sélection d’images clés peut quand même rater un éclair entre deux d’entre elles. Le clignotement très rapide reste l’un des cas les plus coriaces. Quand la recette sort incomplète, l’indice de confiance baisse, pour que vous sachiez qu’il faut aller vérifier.

Légende et métadonnées : la couche de recoupement

La légende, la description de la vidéo et les métadonnées de la publication constituent les quatrième et cinquième signaux. On les prend souvent pour des sources secondaires, alors qu’ils jouent un rôle décisif de recoupement : ils valident et enrichissent ce que disent l’image et le son.

Ils passent aussi en premier. Avant de télécharger quoi que ce soit, Pluck lit la légende. Si le créateur y a déjà écrit la recette complète, Pluck l’extrait directement et saute les étapes plus lentes : téléchargement, images, transcription. L’analyse complète de la vidéo ne se lance que si la légende ne contient pas la recette, ou seulement une partie.

Pluck transcrit lui-même le son au lieu de s’en remettre aux sous-titres automatiques des plateformes, réputés pour massacrer le vocabulaire de cuisine. Les descriptions YouTube contiennent fréquemment une liste d’ingrédients complète ou partielle, des repères temporels, ou un lien vers l’article de blog où la recette est écrite. Les légendes TikTok mentionnent au moins les ingrédients principaux ou le nom du plat. Tout ce texte est lu en même temps que les autres signaux.

La fusion multimodale : là où les signaux se rejoignent

C’est l’étape qui fait de la chaîne autre chose que la somme de ses morceaux. Le modèle d’IA voit ensemble les images clés, la transcription, la légende et les métadonnées, et arbitre les contradictions entre eux.

Un exemple concret. Sur YouTube, quelqu’un prépare un poulet basquaise. Voici ce que produit chaque canal :

L’analyse des images repère le poulet, les poivrons, les tomates, les oignons et plusieurs épices sur le plan de travail. Elle voit une cuillère doseuse.
La transcription du son entend « à peu près une cuillère à soupe de piment d’Espelette » et « un demi-litre de bouillon de volaille ».
L’OCR lit l’incrustation « 1 c. à s. de piment d’Espelette ».
La description cite « piment d’Espelette » dans une liste d’ingrédients incomplète, sans quantité.

Le modèle tranche : « 1 cuillère à soupe de piment d’Espelette ». La quantité vient du texte à l’écran et du son, qui concordent ; l’identité de l’ingrédient vient du son, du texte à l’écran et de la description, soit trois sources d’accord. Si la transcription avait compris de travers et entendu « pain d’épices », les autres signaux l’auraient mise en minorité.

Cet arbitrage se rejoue pour chaque ingrédient, chaque quantité, chaque étape de la recette.

L’indice de confiance : savoir ce qu’on ne sait pas

Toutes les extractions ne se valent pas, et prétendre le contraire détruirait la confiance. Pluck attribue un indice de confiance à chaque extraction, et cet indice se répercute directement sur ce que vous voyez.

L’indice s’affiche sur l’écran de relecture sous la forme Élevée, Moyenne ou Faible. Quand il est élevé, les signaux concordent et la recette est complète : l’enregistrement va vite, sans relecture pesante. Un indice faible s’accompagne d’une invitation à relire avant d’enregistrer. Peut-être que le son était brouillé et que l’IA hésitait entre « une cuillère à café » et « une cuillère à soupe » de piment de Cayenne. C’est le moment de confronter la liste d’ingrédients à la vidéo. Tous les champs sont modifiables.

L’indice tient aussi compte de la complétude. Une recette avec un titre, douze ingrédients bien renseignés et huit étapes numérotées se tient mieux qu’une recette avec un titre, quatre ingrédients vagues et un seul paragraphe de consignes. La complétude et la précision pèsent toutes les deux.

Pourquoi chaque plateforme exige sa propre stratégie

Une vidéo YouTube de 30 minutes et un TikTok de 15 secondes posent deux problèmes fondamentalement différents, même si les deux contiennent une recette. La chaîne de Pluck s’adapte à la source de plusieurs façons.

Les vidéos YouTube sont plus longues, mieux commentées, et souvent accompagnées de texte en description. La transcription du son y est généralement le canal directeur. L’IA dispose de plus de matière. Une réserve : Pluck extrait aujourd’hui une recette par vidéo, si bien qu’une compilation « 5 dîners express de la semaine » vous donne une recette, pas cinq. Pluck accepte les vidéos jusqu’à 30 minutes. Le déroulé complet est dans notre guide sur l’extraction de recettes depuis les vidéos YouTube.

Les vidéos TikTok sont brèves, souvent bruyantes, et s’appuient beaucoup sur l’incrustation. L’OCR y prend du poids. La bande son est fréquemment un morceau à la mode plutôt qu’un commentaire, donc le signal sonore se raréfie. L’analyse des images compte davantage, parce que dans un format aussi court chaque image porte proportionnellement plus d’information. Et comme nous l’avons longuement documenté, la fonction d’enregistrement de TikTok est peu fiable pour conserver des recettes dans la durée.

Les Reels Instagram se situent entre les deux. Ils combinent souvent commentaire et incrustation, et le champ de la légende contient régulièrement la recette entière sous forme de texte. Quand un créateur l’écrit là, cette légende devient la source la plus fiable, et l’analyse de la vidéo sert alors de confirmation plutôt que de source principale.

L’aiguillage des modèles : le bon outil pour la bonne tâche

Pluck ne mise pas sur un modèle unique. Les modèles n’ont pas les mêmes forces, et la chaîne aiguille chaque extraction selon le type de contenu à traiter.

Le système utilise des modèles d’Anthropic (Claude), d’OpenAI (GPT, plus Whisper pour transcrire le son) et de Google (Gemini). Une page web, une photo et une vidéo sont des tâches différentes : une page simple et bien structurée peut partir vers un modèle plus rapide, tandis que les sources ardues vont à un modèle plus puissant. Chaque tâche dispose aussi de modèles de secours chez d’autres fournisseurs : si l’un d’eux est lent ou en panne, l’extraction bascule au lieu d’échouer. Vous ne voyez rien de cette répartition : vous récupérez simplement la recette.

Pourquoi tout cela compte quand vous voulez faire à dîner

Tout ce travail sert un seul but pratique : vous avez vu une recette dans une vidéo et vous voulez la cuisiner. Vous ne voulez pas mettre en pause et revenir en arrière quarante fois. Vous ne voulez pas la prendre en capture d’écran pour la perdre dans votre pellicule. Et vous ne voulez pas non plus la recopier à la main.

Parce qu’elle exploite plusieurs canaux, la chaîne de Pluck s’accommode de la réalité désordonnée dans laquelle les recettes existent aujourd’hui sur internet. Pas joliment mises en page sur un blog avec un bouton « Imprimer », mais dites à toute vitesse par-dessus des poêles qui grésillent, affichées deux secondes à l’écran, à moitié écrites dans une légende, et consignées nulle part. L’IA regarde, écoute, lit et recoupe pour que vous n’ayez pas à le faire. Ce qui sort à l’autre bout est une fiche propre : titre, ingrédients, étapes, durées, portions. Le même format, que la source soit une masterclass YouTube de 30 minutes, un TikTok de 15 secondes ou un carrousel photo Instagram dont la recette s’étale sur plusieurs visuels. Le détail du fonctionnement des cinq modes d’extraction est sur la page Comment fonctionne Pluck.

Une recette structurée, c’est aussi ce qui fait tourner le reste de l’appli. Une vidéo enregistrée peut entrer dans votre planning des repas, sur une liste de courses où les ingrédients en double sont fusionnés et triés par rayon, puis en mode cuisine, où chaque étape affiche les ingrédients qu’elle utilise. Les longues vidéos sont traitées en arrière-plan, et une notification vous prévient quand la recette est prête.

Pluck n’est plus la seule appli à lire les vidéos de cuisine. ReciMe, Honeydew et Deglaze transcrivent eux aussi l’audio, et Deglaze affirme lire en plus le texte à l’écran, image par image. Beaucoup d’autres, dont Mela et Pestle, ne lisent que la légende. Si vous comparez, le panorama des meilleures applis de recettes montre qui fait quoi.

La technologie est réellement neuve. Il y a deux ans, rien de tout cela n’était possible à un niveau de qualité qui permette de cuisiner pour de bon. Aujourd’hui, l’IA multimodale a franchi la ligne qui sépare la démonstration de laboratoire de l’outil de cuisine utilisable. Et elle continue de progresser : les modèles s’améliorent, l’indice de confiance devient plus juste, et le nombre de vidéos dont il ne ressort qu’une recette lacunaire baisse à chaque mise à jour.

Envie de voir l’extraction multimodale à l’œuvre ? Pluck est disponible sur iOS et Android. Téléchargez-la sur Google Play. Collez l’adresse d’une vidéo de cuisine et regardez l’IA en faire une recette dont vous pourrez vous servir. Également sur iOS.