Nous avons testé l'IA sur 68 plats pesés : de combien elle se trompe

La plupart des tests sur le comptage des calories par l’IA reposent sur une poignée de photos et une valeur « réelle » estimée à l’œil. Nous voulions une épreuve plus exigeante : des plats dont chaque ingrédient a été pesé en laboratoire, pour connaître les vraies calories. Nous en avons soumis 68 à deux modèles d’IA capables d’analyser des images, trois fois chacun, et nous avons mesuré l’écart entre leurs estimations et la réalité.

La réponse courte : le modèle le plus récent que nous avons testé (gpt-6-luna) se trompait de 31 % en moyenne et de 22 % sur un repas typique, presque sans biais global (+5 %). L’ancien (gpt-5.6-luna) surestimait de 51 % en moyenne et répondait exactement 520 kcal pour 8 % des plats, quel que soit le contenu de l’assiette. Les deux modèles ramenaient chaque assiette vers un « repas moyen » : les petites collations ressortaient trop hautes, les grandes assiettes trop basses.

Comment nous avons fait le test

• Les plats. Nous avons pris 68 plats dans Nutrition5k, un jeu de données public publié par Google Research. Chaque assiette a été composée dans une cafétéria en pesant chaque élément, et ses calories et macronutriments ont été calculés à partir de ces poids. Notre échantillon allait de 66 à 1 051 kcal (médiane 498 kcal), choisi pour couvrir aussi bien les petites collations que les grandes assiettes.
• Les photos. Nous avons utilisé la photo de chaque assiette prise du dessus, compressée comme l’envoie une appli sur téléphone.
• Les modèles. Deux modèles de vision d’OpenAI, gpt-5.6-luna et gpt-6-luna, avec les mêmes instructions qu’une appli de suivi des calories utilise en production : nommer le plat, lister les ingrédients avec leur poids, donner les calories et les macros.
• Les répétitions. Chaque photo a été envoyée 3 fois à chaque configuration, pour voir si la même image donne la même réponse.
• La notation. Pour chaque réponse, nous avons comparé les calories à la valeur pesée : l’erreur moyenne, l’erreur sur un repas typique (la médiane, c’est-à-dire la valeur du milieu), la part des réponses à 20 % près et le biais (si le modèle a tendance à viser trop haut ou trop bas).

Les résultats

	Ancien modèle	Nouveau modèle
Erreur moyenne	58 %	31 %
Erreur sur un repas typique (médiane)	29 %	22 %
Réponses à ±20 % de la valeur pesée	38 %	46 %
Biais moyen	+51 % (trop haut)	+5 %
Erreur moyenne en kcal	156 kcal	111 kcal
Réponses d’exactement 520 kcal	8 %	0,5 %
Variation quand on renvoie la même photo	4,7 %	4,9 %

Le nouveau modèle a divisé l’erreur par deux et a presque supprimé le biais. Avec 31 % d’erreur moyenne, il se place au niveau des meilleurs résultats publiés : une étude de 2025 a trouvé environ 36 % pour ChatGPT-4o et Claude 3.5 sur 52 repas pesés.

Les chiffres de l’ancien modèle cachent une habitude révélatrice. Sur 204 réponses, il n’a utilisé que 32 valeurs de calories différentes, et 520 kcal est revenu 17 fois, pour des assiettes qui contenaient de tout, d’une petite salade à un déjeuner complet. Il n’estimait pas vraiment la portion : il se rabattait sur un chiffre de « repas type ».

L’IA ramène chaque assiette vers un repas moyen

Voici l’erreur médiane selon la taille réelle du repas :

Calories réelles de l’assiette	Ancien modèle	Nouveau modèle
Moins de 200 kcal	+139 %	+61 %
De 200 à 350 kcal	+74 %	+23 %
De 350 à 500 kcal	+24 %	-12 %
De 500 à 700 kcal	+11 %	-5 %
Plus de 700 kcal	0 %	-19 %

Le schéma est le même pour les deux modèles, simplement plus marqué chez l’ancien : les petites portions sont surestimées et les grosses sous-estimées. Une collation de 150 kcal peut ressortir à 250 kcal. Une assiette de 900 kcal peut ressortir à 730 kcal.

Cela rejoint ce que les chercheurs ont observé avec d’autres modèles d’IA, où la sous-estimation augmente avec la taille de la portion. En cause, la photo : vu du dessus, le modèle ne perçoit pas la hauteur et ne peut rien peser, alors il se rapproche de l’allure habituelle d’un repas.

Même photo, mêmes calories ?

Oui, la plupart du temps. Renvoyer la même photo déplaçait l’estimation d’environ 5 % en moyenne, avec les deux modèles. C’est peu à côté de l’erreur elle-même.

L’exception, c’est la photo ambiguë. L’une d’elles montrait plusieurs donuts dans une assiette. Le nouveau modèle l’estimait le plus souvent à environ 2 100 kcal, mais dans 1 essai sur 12, il n’a vu qu’un seul donut et a répondu 300 kcal. Demander au modèle de compter d’abord les pièces a réglé le problème : 0 erreur de lecture sur 17 essais, toutes les réponses entre 1 740 et 2 280 kcal.

Les grammes écrits battent la photo

Nous avons aussi rédigé les mêmes 67 recettes sous forme de texte avec les poids exacts (« 68 g de riz complet, 21 g de mesclun, 3 g d’huile d’olive »). Il ne restait plus au modèle qu’à faire le calcul.

Configuration	Erreur sur un repas typique	Réponses à ±20 %
Le modèle lit les grammes et donne le total	10 %	75 %
Le modèle donne les grammes et les valeurs pour 100 g, l’appli fait la somme	4,5 %	88 %

La première configuration fait encore des erreurs inattendues. Pour « 200 g de yaourt grec 0 % avec 30 g de miel », elle a répondu 181 kcal. La bonne réponse est d’environ 209 kcal : environ 118 pour le yaourt et 91 pour le miel. Quand le modèle doit seulement connaître les valeurs pour 100 g et que le calcul est confié au code, ces erreurs disparaissent.

Les astuces qui n’ont pas marché

• Poser la question plusieurs fois et garder la réponse du milieu. Trois ou cinq réponses par photo, puis la médiane : même erreur moyenne de 31 à 33 %, pour un coût deux à trois fois plus élevé.
• Un format détaillé, étape par étape, pour les photos. Demander chaque ingrédient avec ses valeurs pour 100 g était aussi précis que le format simple, mais la même photo variait davantage d’un essai à l’autre (environ 9,5 % au lieu de 5 %). La raison principale : l’huile de cuisson, listée à part dans certains essais et oubliée dans d’autres.

Ce que cela change quand vous enregistrez un repas

1. Petites collations : vérifiez le chiffre. La photo d’un yaourt ou d’un fruit a plus de chances d’être surestimée que sous-estimée.
2. Grandes assiettes : vérifiez la portion et ajoutez ce qui ne se voit pas, comme l’huile de cuisson et la vinaigrette. C’est là que les calories se perdent.
3. Vous connaissez le poids ? Tapez-le. Dans notre test, une description avec les grammes était environ cinq fois plus précise qu’une photo.
4. Plusieurs pièces dans l’assiette ? Vérifiez que le nombre est juste.
5. Produits emballés : scannez le code-barres plutôt que de prendre une photo. L’étiquette bat n’importe quelle estimation.

Si vous devez fixer un objectif, commencez par notre calcul de calories. Pour une vue d’ensemble sur la précision, y compris les études sur nos erreurs quand nous notons nous-mêmes ce que nous mangeons, lisez compter ses calories avec une photo : l’IA est-elle fiable ?. Pour les bases, voyez comment compter les calories.

Les limites de ce test

• Des photos de laboratoire. Les assiettes de Nutrition5k ont été photographiées du dessus avec un dispositif fixe, dans quelques cafétérias de Californie. Des photos prises à la maison, de biais, avec d’autres cuisines, se comporteront autrement.
• 68 plats. Assez pour voir des tendances nettes, pas pour classer chaque modèle sur chaque type d’aliment.
• Un instantané. Il s’agit de deux modèles précis en octobre 2026. Les modèles changent souvent, les chiffres changeront donc aussi.
• Qui l’a réalisé. Nous développons BananaCal, une appli de suivi des calories, et nous avons mené ce test pour choisir sa configuration. Ensuite, nous avons confié l’analyse des photos au nouveau modèle avec l’étape de comptage, et l’analyse du texte à la méthode « valeurs pour 100 g, somme faite par le code ». Nous n’avons aucun lien avec OpenAI, à part le fait de payer son API.

En résumé

• Sur 68 plats pesés, le meilleur modèle d’IA se trompait de 31 % en moyenne et de 22 % sur un repas typique, presque sans biais.
• Tous les modèles ramenaient les assiettes vers un repas moyen : les petites trop hautes, les grandes trop basses.
• La même photo donnait presque la même réponse à chaque fois, sauf pour les assiettes ambiguës.
• Écrire les grammes réduisait l’erreur typique à environ 4,5 %.
• Interroger l’IA plusieurs fois ne la rendait pas plus précise.