Visione del Cibo · La foto in due secondi
FoodSeg103: il primo benchmark su larga scala per la segmentazione di immagini alimentari a livello di ingrediente
Quando osservi un piatto, i tuoi occhi distinguono istantaneamente la bistecca, i broccoli, la salsa — ciascuno come regione separata. Insegnare a un computer a fare lo stesso, pixel per pixel, è uno dei compiti più difficili della visione artificiale applicata al cibo.
Questo paper ha costruito il primo dataset su larga scala che ci prova davvero: quasi diecimila foto di cibo, ciascuna tracciata manualmente affinché ogni ingrediente visibile riceva una propria maschera colorata. Il paper dimostra anche che conoscere la ricetta di un piatto — le parole che descrivono cosa ci va dentro — aiuta il computer a riconoscere quegli ingredienti visivamente.
Lo stesso broccolo ha aspetto molto diverso in un saltato rispetto a una zuppa cremosa, ma il testo della ricetta lega queste apparenze insieme. Con questo dataset e metodo, i computer hanno finalmente gli strumenti per stimare le calorie da una foto o identificare ogni componente di un piatto complesso.
Cosa dice, in breve
- Wu et al. (2021) introducono FoodSeg103, il primo dataset su larga scala per la segmentazione di immagini alimentari a livello di ingrediente: 7.118 immagini tratte da Recipe1M, annotate con 103 classi di ingredienti organizzate in 14 superclassi e circa 42.097 maschere pixel-precise.
- L'estensione FoodSeg154 aggiunge 2.372 immagini di cucina asiatica, coprendo 112 classi aggiuntive (55% di sovrapposizione con FoodSeg103), portando il dataset combinato a 9.490 immagini e circa 59.773 maschere su 154 classi.
- Il paper propone ReLeM (Recipe Learning Module), un metodo di pre-addestramento multimodale che fonde embedding di testo ricetta (etichette di ingredienti e istruzioni di cottura, codificate con word2vec/LSTM o transformer) con un encoder visivo tramite perdita coseno e perdita semantica; l'encoder addestrato inizializza poi i segmentatori a valle.
- Tre architetture di segmentazione sono confrontate come baseline: CCNet (basato su dilatazione), Sem-FPN (piramide di caratteristiche), SeTR (vision transformer). ReLeM migliora tutte e tre di 1,3–2,6 punti mIoU su FoodSeg103.
- La segmentazione di immagini alimentari risulta notevolmente più difficile della segmentazione semantica generale: gli stessi modelli ottengono 74–79 mIoU su Cityscapes ma solo 28–41 mIoU su FoodSeg103, con un divario di 34–47 punti.
- La valutazione cross-domain sul set asiatico di FoodSeg154 conferma che ReLeM migliora sia il transfer zero-shot sia quello con fine-tuning (ReLeM-CCNet-Finetune: 47,1 vs 41,3 mIoU per CCNet-Finetune).
- Dataset e modelli pre-addestrati sono rilasciati pubblicamente; il subset asiatico rimane privato per vincoli di riservatezza delle immagini al momento del preprint.
Provenienza
- Fonte
- A Large-Scale Benchmark for Food Image Segmentation— Wu 2021
- Licenza
- unknown
- Nel Kosmos
- 4 voci · 140 fatti atomici · tier MAIOR
↯ Questa è una voce vera del nostro Knowledge Graph, ancorata alla sua fonte — non un testo generato da un modello. Il colore riflette il tipo reale di studio, mai gonfiato.