Comment l'IA analyse les vidéos de cuisine : dans les rouages de l'extraction multimodale de Pluck

Imaginez un Reel de trente secondes sur Instagram : quelqu’un prépare une piperade. La caméra bascule vers le bas, dans une poêle en fonte. Une main casse deux œufs dans les poivrons qui compotent avec les tomates. Une incrustation reste deux secondes à l’écran — « 1 boîte de tomates concassées » — pendant qu’on entend « moi j’ajoute toujours une demi-cuillère à café de piment d’Espelette ». Aucune recette dans la légende. Aucun article de blog derrière. La recette entière n’existe que sous la forme d’un enchevêtrement de son, d’images et de texte qui passe en un clin d’œil.

Comment une IA transforme-t-elle cela en une recette structurée, avec liste d’ingrédients et étapes numérotées ?

C’est la question autour de laquelle tourne tout le travail de Pluck, et la réponse tient dans une chaîne de traitement plus élaborée qu’on ne l’imagine. Si vous avez lu notre article sur la capacité de l’IA à extraire une recette d’une vidéo, vous en avez la vue d’ensemble. Ici, on descend d’un étage : les arbitrages techniques, les différences entre les modes d’extraction, le calcul derrière l’indice de confiance, et les raisons pour lesquelles chaque plateforme exige sa propre stratégie.

Ce que « regarder » veut dire pour une IA

Quand un humain regarde une vidéo de cuisine, tout arrive en même temps. Vous voyez les ingrédients, vous entendez les consignes, vous lisez l’incrustation, et vous assemblez la recette dans votre tête sans y penser. Votre cerveau fusionne toutes ces entrées d’office.

Une IA doit accomplir la même chose, mais de façon explicite et par étapes. La chaîne de Pluck découpe une vidéo de cuisine en cinq canaux de signal distincts, traite chacun séparément, puis les superpose dans une étape de fusion qui tranche les contradictions et comble les trous. Les cinq canaux : l’analyse des images, la transcription du son, la reconnaissance du texte incrusté (OCR), la lecture des sous-titres et des légendes, et l’exploitation des métadonnées.

Chaque canal a ses forces. Chacun échoue à sa manière. La puissance vient de la combinaison.

L’échantillonnage des images : voir la cuisine

L’IA ne traite pas chaque image de la vidéo. Une vidéo YouTube de dix minutes à 30 images par seconde en compte 18 000, dont l’immense majorité sont quasiment identiques : la caméra est sur un trépied et regarde une casserole frémir. Toutes les traiter coûterait du calcul sans apporter le moindre signal supplémentaire.

Pluck procède donc par échantillonnage intelligent. Le système repère les changements de plan : la coupe entre la planche à découper et la plaque de cuisson, le zoom sur le verre doseur, le carton de titre qui s’affiche. C’est à ces charnières que la densité d’information est la plus forte. Un prélèvement à intervalle régulier vient compléter le dispositif, pour ne pas rater les passages lents où quelqu’un aligne ses ingrédients sur le plan de travail sans coupe spectaculaire.

Que cherche l’IA dans une image prélevée ? Plusieurs choses à la fois. La disposition des ingrédients : une planche avec des légumes reconnaissables. Les quantités lisibles sur un verre doseur, une cuillère, une balance. Les étiquettes qui permettent d’identifier un produit précis. Le texte que le créateur a posé sur l’image. L’état de l’aliment à chaque stade : cru, en train de colorer dans la poêle, dressé dans l’assiette. Chacune de ces observations devient une donnée qui alimente la recette finale.

L’analyse des images est indispensable pour une catégorie précise de contenus : la vidéo de cuisine muette. Ces plans façon ASMR, populaires sur YouTube comme sur Instagram, montrent quelqu’un qui cuisine dans un silence complet. Aucun commentaire. Parfois aucune incrustation. Juste des mains, des ingrédients, des gestes. Sans analyse des images, ces vidéos sont parfaitement opaques. Avec elle, l’IA identifie la plupart des ingrédients et reconstitue l’ordre des opérations à partir du seul témoignage visuel.

Pourquoi la cadence et la définition comptent

Toutes les sources ne se valent pas. Une vidéo YouTube en 4K livre des incrustations nettes et des emballages identifiables. Un TikTok en basse définition, déjà compressé par trois plateformes successives, peut afficher un texte qu’un humain lui-même déchiffre à peine. La chaîne de Pluck ajuste ses seuils d’OCR à la définition de la source. Sur un matériau dégradé, les scores attribués au texte baissent, et le système s’appuie davantage sur le son et la légende pour compenser.

La transcription du son : écouter celui qui cuisine

Pour la plupart des vidéos de cuisine, la bande son est le canal le plus riche. Les créateurs commentent en cuisinant, et ce commentaire contient le cœur de la recette : ingrédients, quantités, durées, températures, gestes. « 250 g de farine T55, tamisée. » « Saisissez le poulet à feu moyen-vif, environ quatre minutes par face. » « Là j’ajoute une cuillère à café de paprika fumé. Du paprika ordinaire fera l’affaire si vous n’avez que ça. »

La reconnaissance vocale d’aujourd’hui encaisse remarquablement bien le désordre sonore d’une vraie cuisine. L’huile qui grésille, l’eau qui coule, les casseroles qui s’entrechoquent, la musique de fond : les modèles filtrent tout cela et dégagent la voix. Les accents, les débits rapides et les phrases mangées, qui mettaient en échec les anciens systèmes, ne posent plus de problème à la génération actuelle.

Mais l’IA ne se contente pas de transcrire des mots : elle décode la langue de la cuisine. Elle comprend que « ajoutez une noix de beurre » fait du beurre un ingrédient et non un geste. Elle sait que « laissez aller une vingtaine de minutes » est une indication de durée. Elle reconnaît que « salez, poivrez » place le sel et le poivre dans la liste, même si aucune quantité n’a été énoncée.

La transcription attrape aussi les remarques en passant, qui contiennent de vraies informations. Quand quelqu’un dit « ma grand-mère mettait du saindoux ici, moi je prends du beurre », l’IA inscrit correctement le beurre comme ingrédient utilisé, tout en gardant le contexte de la substitution.

La reconnaissance du texte incrusté : lire ce que les créateurs écrivent

Une grande partie des vidéos de recettes au format court — TikTok, Instagram Reels, YouTube Shorts — utilise l’incrustation comme moyen principal de communication. Un son à la mode tourne pendant que le créateur empile du texte à l’écran : « 250 g de farine », « 100 g de sucre », « 180 °C pendant 25 min ». La recette vit entièrement dans cette couche de texte.

L’OCR de Pluck va plus loin que la simple reconnaissance de caractères. Elle situe le texte lu dans l’espace et dans le temps. Une grande police en haut du cadre, au tout début : probablement le titre de la recette. Un texte qui apparaît une seconde pendant qu’un ingrédient est ajouté : probablement une quantité. Un texte qui persiste à travers plusieurs coupes : probablement une liste d’ingrédients qui défile.

La dimension temporelle est décisive. Une incrustation qui apparaît à l’instant précis où le lait est versé dans un saladier se trouve rattachée à ce geste. Si l’incrustation dit « 20 cl de lait entier » quand le son dit seulement « ajoutez du lait », l’IA retient la lecture précise de l’image et y ajoute la confirmation du son : c’est bien à cette étape que le lait intervient.

Le problème des 300 millisecondes

Certains montent leurs vidéos de façon que le texte reste 300 millisecondes à l’écran — à peine de quoi permettre à un œil humain de le lire, encore moins de le traiter proprement. L’échantillonnage de Pluck vise donc explicitement le moment où le texte entre dans le cadre, et prélève plus densément à cet endroit. Malgré cela, le clignotement très rapide reste l’un des cas les plus coriaces. Ces extractions reçoivent un indice de confiance plus bas, pour que vous sachiez qu’il faut aller vérifier.

Sous-titres et métadonnées : la couche de recoupement

Les sous-titres, les descriptions de vidéo et les informations fournies par la plateforme constituent les quatrième et cinquième canaux. On les prend souvent pour des sources secondaires, alors qu’ils jouent un rôle décisif de recoupement : ils valident et enrichissent ce que produisent les canaux principaux.

Les sous-titres automatiques sont au fond la reconnaissance vocale de la plateforme elle-même. Ils sont imparfaits — ceux de YouTube sont réputés pour massacrer le vocabulaire de cuisine — mais ils offrent un deuxième avis indépendant sur ce qui a été dit. Quand la transcription de Pluck et les sous-titres de YouTube s’accordent sur « deux cuillères à soupe de sauce soja », la confiance accordée à cette donnée monte. Quand ils divergent, le système examine le contexte pour décider laquelle des deux versions est la plus vraisemblable.

Les sous-titres déposés par le créateur valent davantage, puisqu’ils ont été relus à la main. Les descriptions YouTube contiennent fréquemment une liste d’ingrédients complète ou partielle, des repères temporels, ou un lien vers l’article de blog où la recette est écrite. Les légendes TikTok mentionnent au moins les ingrédients principaux ou le nom du plat. Tout ce texte est analysé et confronté aux autres canaux.

La fusion multimodale : là où les signaux se rejoignent

C’est l’étape qui fait de la chaîne autre chose que la somme de ses morceaux. Une fois chaque canal traité pour lui-même, la fusion rassemble les cinq flux de données et arbitre les contradictions.

Un exemple concret. Sur YouTube, quelqu’un prépare un poulet basquaise. Voici ce que produit chaque canal :

L’analyse des images repère le poulet, les poivrons, les tomates, les oignons et plusieurs épices sur le plan de travail. Elle voit une cuillère doseuse.
La transcription du son entend « à peu près une cuillère à soupe de piment d’Espelette » et « un demi-litre de bouillon de volaille ».
L’OCR lit l’incrustation « 1 c. à s. de piment d’Espelette ».
Les sous-titres automatiques en font « une cuillère à soupe de pain d’épices » (le vocabulaire de cuisine les déborde régulièrement).
La description cite « piment d’Espelette » dans une liste d’ingrédients incomplète, sans quantité.

Le moteur de fusion tranche : « 1 cuillère à soupe de piment d’Espelette ». La quantité vient du son et de l’incrustation, qui concordent ; l’identité de l’ingrédient vient du son, de l’incrustation et de la description, soit trois sources d’accord ; et la version malmenée des sous-titres passe à la trappe. Son erreur ne cause aucun dégât, parce que les autres canaux la mettent en minorité.

Cet arbitrage se rejoue pour chaque ingrédient, chaque quantité, chaque étape de la recette. Chaque donnée reçoit un score selon le nombre de canaux qui y ont contribué et selon leur degré d’accord.

L’indice de confiance : savoir ce qu’on ne sait pas

Toutes les extractions ne se valent pas, et prétendre le contraire détruirait la confiance. Pluck attribue un indice de confiance à chaque extraction, et cet indice se répercute directement sur ce que vous voyez.

Quand l’indice est élevé, plusieurs canaux se sont confirmés mutuellement et la recette est complète : l’enregistrement va vite, sans relecture pesante. Quand il est plus bas, l’appli signale les parties de la recette dont le système est moins sûr. Peut-être que le son était brouillé et que l’IA hésite entre « une cuillère à café » et « une cuillère à soupe » de piment de Cayenne. Cet ingrédient est marqué pour que vous alliez le contrôler.

L’indice tient aussi compte de la complétude. Une recette avec un titre, douze ingrédients bien renseignés et huit étapes numérotées se tient mieux qu’une recette avec un titre, quatre ingrédients vagues et un seul paragraphe de consignes. La complétude et la précision pèsent toutes les deux.

Pourquoi chaque plateforme exige sa propre stratégie

Une vidéo YouTube de 45 minutes et un TikTok de 15 secondes posent deux problèmes fondamentalement différents, même si les deux contiennent une recette. La chaîne de Pluck s’adapte à la source de plusieurs façons.

Les vidéos YouTube sont plus longues, mieux commentées, et souvent accompagnées de texte en description. La transcription du son y est généralement le canal directeur. L’IA dispose de plus de matière, mais doit aussi gérer les vidéos qui contiennent plusieurs recettes (« 5 dîners express de la semaine ») en trouvant les frontières entre elles. Le déroulé complet est dans notre guide sur l’extraction de recettes depuis les vidéos YouTube.

Les vidéos TikTok sont brèves, souvent bruyantes, et s’appuient beaucoup sur l’incrustation. L’OCR y prend du poids. La bande son est fréquemment un morceau à la mode plutôt qu’un commentaire, donc le signal sonore se raréfie. L’analyse des images compte davantage, parce que dans un format aussi court chaque image porte proportionnellement plus d’information. Et comme nous l’avons longuement documenté, la fonction d’enregistrement de TikTok est peu fiable pour conserver des recettes dans la durée.

Les Reels Instagram se situent entre les deux. Ils combinent souvent commentaire et incrustation, et le champ de la légende contient régulièrement la recette entière sous forme de texte. Quand un créateur l’écrit là, cette légende devient la source la plus fiable, et l’analyse de la vidéo sert alors de confirmation plutôt que de source principale.

L’aiguillage des modèles : le bon outil pour la bonne tâche

Pluck ne mise pas sur un modèle unique. Les modèles n’ont pas les mêmes forces, et la chaîne confie chaque extraction au fournisseur le mieux placé pour ce type de contenu.

Le système peut faire appel à Claude, à GPT et à Gemini, entre autres. Certains modèles voient mieux et se débrouillent avec des images encombrées, où plusieurs incrustations se superposent à un arrière-plan chargé. D’autres comprennent mieux la parole, y compris avec un accent marqué ou du bruit autour. D’autres encore excellent en sortie structurée et produisent un JSON propre, avec des quantités normalisées.

L’aiguillage se décide à partir de l’analyse de contenu réalisée aux premières étapes de la chaîne. Une vidéo bien commentée avec un son net part vers un modèle fort en compréhension du langage. Une vidéo de cuisine muette avec beaucoup de texte à l’écran part vers un modèle qui voit mieux. Vous ne voyez rien de cette répartition : vous récupérez simplement le meilleur résultat possible.

Pourquoi tout cela compte quand vous voulez faire à dîner

Tout ce travail sert un seul but pratique : vous avez vu une recette dans une vidéo et vous voulez la cuisiner. Vous ne voulez pas mettre en pause et revenir en arrière quarante fois. Vous ne voulez pas la prendre en capture d’écran pour la perdre dans votre pellicule. Et vous ne voulez pas non plus la recopier à la main.

Parce qu’elle exploite plusieurs canaux, la chaîne de Pluck s’accommode de la réalité désordonnée dans laquelle les recettes existent aujourd’hui sur internet. Pas joliment mises en page sur un blog avec un bouton « Imprimer », mais dites à toute vitesse par-dessus des poêles qui grésillent, affichées deux secondes à l’écran, à moitié écrites dans une légende, et consignées nulle part. L’IA regarde, écoute, lit et recoupe pour que vous n’ayez pas à le faire. Ce qui sort à l’autre bout est une fiche propre : titre, ingrédients, étapes, durées, portions. Le même format, que la source soit une masterclass YouTube de 45 minutes ou un TikTok de 15 secondes. Le détail du fonctionnement des cinq modes d’extraction est sur la page Comment fonctionne Pluck.

La technologie est réellement neuve. Il y a deux ans, rien de tout cela n’était possible à un niveau de qualité qui permette de cuisiner pour de bon. Aujourd’hui, l’IA multimodale a franchi la ligne qui sépare la démonstration de laboratoire de l’outil de cuisine utilisable. Et elle continue de progresser : les modèles s’améliorent, l’indice de confiance devient plus juste, et le nombre de vidéos dont il ne ressort qu’une recette lacunaire baisse à chaque mise à jour.

Envie de voir l’extraction multimodale à l’œuvre ? Pluck est disponible sur iOS et Android. Téléchargez-la sur Google Play. Collez l’adresse d’une vidéo de cuisine et regardez l’IA en faire une recette dont vous pourrez vous servir. Également sur iOS.