Comment l'IA analyse les vidéos de cuisine : dans les rouages de l'extraction multimodale de Pluck

Imaginez un Reel de trente secondes sur Instagram : quelqu’un prépare une piperade. Une incrustation reste deux secondes à l’écran — « 1 boîte de tomates concassées » — pendant qu’on entend « moi j’ajoute toujours une demi-cuillère à café de piment d’Espelette ». Aucune recette dans la légende, aucun article de blog derrière. La recette entière n’existe que comme un enchevêtrement de son, d’images et de texte fugace à l’écran.

Comment une IA transforme-t-elle cela en une recette structurée, avec liste d’ingrédients et étapes numérotées ?

Notre article sur la capacité de l’IA à extraire une recette d’une vidéo en donne la vue d’ensemble. Ici, on descend d’un étage, dans la technique derrière chaque étape.

Ce que « regarder » veut dire pour une IA

Un humain saisit une vidéo de cuisine d’un seul coup. Une IA doit accomplir la même chose de façon explicite et par étapes.

La chaîne de Pluck recueille cinq types de signaux : les images de la vidéo, le son (transcrit en texte), le texte affiché à l’écran, la légende et la description, et les métadonnées de la publication. Elle les confie à un modèle d’IA multimodal qui les lit ensemble, tranche les contradictions et comble les trous.

L’échantillonnage des images : voir la cuisine

Une vidéo YouTube de dix minutes à 30 images par seconde en compte 18 000, la plupart quasiment identiques. Les traiter toutes coûterait du calcul sans apporter de signal.

Pluck retient donc une petite sélection d’images clés, environ 8 à 10 par vidéo. La détection de scènes repère les moments où l’image change et où la densité d’information est la plus forte : la coupe entre la planche à découper et la plaque de cuisson, le carton de titre qui s’affiche. Pluck garde aussi toujours une image des premières secondes, où se trouve d’ordinaire le carton de titre, et une de la fin, où beaucoup de créateurs affichent un récapitulatif de la recette.

Dans chaque image, l’IA cherche les ingrédients, les quantités lisibles sur un verre doseur, une cuillère ou une balance, les étiquettes des emballages, les incrustations et l’état de l’aliment, du cru au dressé.

L’analyse des images est indispensable pour les vidéos de cuisine muettes, façon ASMR, sans commentaire et parfois sans incrustation. À partir des seules images, l’IA peut identifier la plupart des ingrédients et reconstituer l’ordre des opérations.

Pourquoi la cadence et la définition comptent

Une vidéo YouTube en 4K livre des incrustations nettes et des emballages identifiables. Un TikTok en basse définition, déjà compressé par trois plateformes successives, peut afficher un texte qu’un humain lui-même déchiffre à peine. L’extraction doit alors s’appuyer sur le son et la légende, et l’indice de confiance en tient compte.

La transcription du son : écouter celui qui cuisine

Pour la plupart des vidéos de cuisine, la bande son est le canal le plus riche. Les créateurs commentent en cuisinant, et ce commentaire contient le cœur de la recette : ingrédients, quantités, durées, températures, gestes.

La reconnaissance vocale d’aujourd’hui encaisse remarquablement bien le désordre sonore d’une vraie cuisine. Les modèles filtrent les bruits de cuisine et la musique de fond, et traitent de façon fiable les accents, les débits rapides et les phrases mangées qui mettaient en échec les anciens systèmes.

L’IA décode aussi la langue de la cuisine. Elle comprend que « ajoutez une noix de beurre » fait du beurre un ingrédient, et que « salez, poivrez » place le sel et le poivre dans la liste, même si aucune quantité n’a été énoncée. Elle attrape aussi les remarques en passant : avec « ma grand-mère mettait du saindoux ici, moi je prends du beurre », c’est le beurre qui devient l’ingrédient de cette recette, et la substitution est notée.

La reconnaissance du texte incrusté : lire ce que les créateurs écrivent

Une grande partie des vidéos de recettes au format court — TikTok, Instagram Reels, YouTube Shorts — utilise l’incrustation comme moyen principal de communication. Un son à la mode tourne pendant que le créateur empile du texte à l’écran, et la recette vit entièrement dans cette couche de texte.

Pluck ne fait pas tourner d’étape de reconnaissance de caractères à part. Le modèle de vision lit le texte de chaque image clé comme le ferait une personne, avec la mise en page et le contexte. Une grande police en haut du cadre, au tout début : probablement le titre de la recette. Un texte qui apparaît une seconde pendant qu’un ingrédient est ajouté : probablement une quantité. Un texte qui persiste à travers plusieurs coupes : probablement une liste d’ingrédients qui défile.

La dimension temporelle compte aussi. Une incrustation qui apparaît à l’instant précis où le lait est versé dans un saladier se trouve rattachée à ce geste : un « 20 cl de lait entier » précis à l’écran complète ainsi un vague « ajoutez du lait » dans le son.

Le problème des 300 millisecondes

Certains montent leurs vidéos de façon que le texte ne reste que 300 millisecondes à l’écran. La détection de scènes attrape bon nombre de changements d’incrustation, car un nouveau texte arrive souvent avec une coupe, mais une sélection d’images clés peut quand même rater un éclair entre deux. Quand la recette sort incomplète, l’indice de confiance baisse, pour que vous sachiez qu’il faut vérifier.

Légende et métadonnées : la couche de recoupement

La légende, la description de la vidéo et les métadonnées de la publication constituent les quatrième et cinquième signaux : une couche de recoupement qui valide et enrichit ce que disent l’image et le son.

Ils passent aussi en premier. Avant de télécharger quoi que ce soit, Pluck lit la légende. Si le créateur y a déjà écrit la recette complète, Pluck l’extrait directement et saute les étapes plus lentes : téléchargement, images, transcription. L’analyse complète de la vidéo ne se lance que si la légende ne contient pas la recette, ou seulement une partie.

Pluck transcrit lui-même le son au lieu de s’en remettre aux sous-titres automatiques des plateformes, réputés pour massacrer le vocabulaire de cuisine. Les descriptions YouTube contiennent fréquemment une liste d’ingrédients complète ou partielle, des repères temporels ou un lien vers la recette écrite, et les légendes TikTok mentionnent parfois les ingrédients principaux ou le nom du plat.

La fusion multimodale : là où les signaux se rejoignent

Le modèle d’IA voit ensemble les images clés, la transcription, la légende et les métadonnées, et arbitre les contradictions entre eux pour chaque ingrédient, chaque quantité et chaque étape. Prenons quelqu’un qui prépare un poulet basquaise sur YouTube :

L’analyse des images repère le poulet, les poivrons, les tomates, les oignons et plusieurs épices sur le plan de travail.
La transcription du son entend « à peu près une cuillère à soupe de piment d’Espelette ».
L’OCR lit l’incrustation « 1 c. à s. de piment d’Espelette ».
La description cite « piment d’Espelette » dans une liste d’ingrédients incomplète, sans quantité.

Le modèle tranche : « 1 cuillère à soupe de piment d’Espelette ». La quantité vient du texte à l’écran et du son, qui concordent ; l’identité de l’ingrédient vient du son, du texte à l’écran et de la description, soit trois sources d’accord. Si la transcription avait compris de travers et entendu « pain d’épices », les autres signaux l’auraient mise en minorité.

L’indice de confiance : savoir ce qu’on ne sait pas

Toutes les extractions ne se valent pas : Pluck attribue donc à chacune un indice de confiance, affiché sur l’écran de relecture sous la forme Élevée, Moyenne ou Faible. Quand il est élevé, les signaux concordent et la recette est complète : l’enregistrement va vite, sans relecture pesante. Un indice faible s’accompagne d’une invitation à relire avant d’enregistrer et à confronter la liste d’ingrédients à la vidéo. Tous les champs sont modifiables.

L’indice tient aussi compte de la complétude et de la précision. Une recette avec un titre, douze ingrédients bien renseignés et huit étapes numérotées se tient mieux qu’une recette avec un titre, quatre ingrédients vagues et un seul paragraphe de consignes.

Pourquoi chaque plateforme exige sa propre stratégie

Les vidéos YouTube sont plus longues, mieux commentées, et souvent accompagnées de texte en description. La transcription du son y est généralement le canal directeur. Une réserve : Pluck extrait aujourd’hui une recette par vidéo, si bien qu’une compilation « 5 dîners express de la semaine » vous donne une recette, pas cinq. Pluck accepte les vidéos jusqu’à 30 minutes. Notre guide sur l’extraction de recettes depuis les vidéos YouTube en donne le déroulé complet.

Les vidéos TikTok sont brèves, souvent bruyantes, et s’appuient beaucoup sur l’incrustation : l’OCR y prend du poids. La bande son est fréquemment un morceau à la mode plutôt qu’un commentaire, donc le signal sonore se raréfie et chaque image porte proportionnellement plus d’information. Et comme nous l’avons longuement documenté, la fonction d’enregistrement de TikTok est peu fiable pour conserver des recettes dans la durée.

Les Reels Instagram se situent entre les deux. Ils combinent souvent commentaire et incrustation, et le champ de la légende contient régulièrement la recette entière sous forme de texte. Cette légende devient alors la source la plus fiable, et l’analyse de la vidéo sert de confirmation plutôt que de source principale.

L’aiguillage des modèles : le bon outil pour la bonne tâche

Pluck ne mise pas sur un modèle unique. La chaîne aiguille chaque extraction selon le type de contenu à traiter, avec des modèles d’Anthropic (Claude), d’OpenAI (GPT, plus Whisper pour transcrire le son) et de Google (Gemini). Une page web, une photo et une vidéo sont des tâches différentes : une page simple et bien structurée peut partir vers un modèle plus rapide, tandis que les sources ardues vont à un modèle plus puissant. Chaque tâche dispose aussi de modèles de secours chez d’autres fournisseurs : si l’un d’eux est lent ou en panne, l’extraction bascule au lieu d’échouer.

Pourquoi tout cela compte quand vous voulez faire à dîner

Tout ce travail sert un seul but pratique : vous avez vu une recette dans une vidéo et vous voulez la cuisiner sans revenir en arrière quarante fois, sans la prendre en capture d’écran pour la perdre dans votre pellicule et sans la recopier à la main.

Ce qui sort à l’autre bout est une fiche propre : titre, ingrédients, étapes, durées, portions. Le format est le même, que la source soit une masterclass YouTube de 30 minutes, un TikTok de 15 secondes ou un carrousel photo Instagram dont la recette s’étale sur plusieurs visuels. La page Comment fonctionne Pluck détaille les cinq modes d’extraction.

Une recette structurée, c’est aussi ce qui fait tourner le reste de l’appli. Une vidéo enregistrée peut entrer dans votre planning des repas, sur une liste de courses où les ingrédients en double sont fusionnés et triés par rayon, puis en mode cuisine, où chaque étape affiche les ingrédients qu’elle utilise. C’est cette même structure qui permet à Remplir ma semaine de piocher dans vos recettes enregistrées, et au scan du garde-manger de rapprocher une photo de votre frigo de leurs ingrédients. Les longues vidéos sont traitées en arrière-plan, et une notification vous prévient quand la recette est prête.

Pluck n’est plus la seule appli à lire les vidéos de cuisine. ReciMe, Honeydew et Deglaze transcrivent eux aussi l’audio, et Deglaze affirme lire en plus le texte à l’écran, image par image. Beaucoup d’autres, dont Mela et Pestle, ne lisent que la légende. Si vous comparez, le panorama des meilleures applis de recettes montre qui fait quoi.

Il y a deux ans, rien de tout cela n’était possible à un niveau de qualité qui permette de cuisiner pour de bon. Et cela continue de progresser : les modèles s’améliorent, l’indice de confiance devient plus juste, et la catégorie de vidéos qui donnent une extraction incomplète rétrécit à chaque mise à jour.

Envie de voir l’extraction multimodale à l’œuvre ? Pluck est disponible sur iOS et Android. Téléchargez-la sur Google Play. Également sur iOS.