Visione del Cibo · La foto in due secondi
DPF-Nutrition 2023: stima dei nutrienti alimentari da immagine monoculare tramite predizione della profondità e fusione RGB-D
Immaginate di puntare il vostro smartphone su un piatto di cibo e ottenere istantaneamente calorie, grammi di proteine, grassi e carboidrati senza pesare nulla. Questo è l'obiettivo della stima automatica dei nutrienti, e la sfida è che una fotografia elimina la profondità: la fotocamera non può facilmente distinguere se un mucchio di riso è alto due centimetri o uno.
DPF-Nutrition risolve questo problema addestrando una rete neurale a intuire la forma tridimensionale del cibo dai colori e dalle texture dell'immagine, immaginando la profondità che la fotocamera non ha potuto misurare. Il risultato combinato con l'immagine a colori originale, attraverso un meccanismo di attenzione incrociata, supera qualsiasi sistema precedente che funziona con foto ordinarie da smartphone.
Il limite principale resta la caloria invisibile: il cuoco che irrora il piatto con olio d'oliva non lascia tracce visibili, e il modello non può vedere ciò che non c'è.
Cosa dice, in breve
- DPF-Nutrition è il primo sistema end-to-end a combinare predizione della profondità monoculare con fusione RGB-D per la stima dei nutrienti alimentari, richiedendo solo un'immagine RGB al momento dell'inferenza.
- Un Dense Prediction Transformer (DPT) con encoder ViT genera mappe di profondità sintetiche da immagini monoculari di cibo, recuperando la geometria 3D persa nella proiezione 2D senza sensore fisico.
- Un Cross-modal Attention Block (CAB) seguendo un paradigma fusione-miglioramento-fusione modella esplicitamente l'attenzione di canale e spaziale tra le modalità RGB e profondità, sopprimendo le ridondanze e amplificando le informazioni complementari.
- Una rete di fusione multi-scala integra progressivamente le mappe di feature RGB-D a diverse risoluzioni, consentendo la cattura simultanea di texture fine (riconoscimento cibo) e struttura spaziale (stima porzione).
- Cinque obiettivi nutrizionali vengono stimati simultaneamente (calorie, massa, proteine, grassi, carboidrati) con loss L1 per task combinata tramite strategia di loss geometrica.
- Sul dataset Nutrition5k, DPF-Nutrition raggiunge PMAE medie del 17,8% (calorie 14,7%, massa 10,6%, proteine 20,2%, grassi 22,6%, carboidrati 20,7%).
- DPF-Nutrition migliora del 11,3% rispetto alla migliore baseline monoculare (Google-Nutrition, Thames et al.) e compete con il metodo RGB-D con sensore fisico (Shao et al.) con soli 0,7% di scarto.
Provenienza
- Fonte
- DPF-Nutrition: Food Nutrition Estimation via Depth Prediction and Fusion— He 2023
- Licenza
- CC BY 4.0
- Nel Kosmos
- 3 voci · 117 fatti atomici · tier MAIOR
↯ Questa è una voce vera del nostro Knowledge Graph, ancorata alla sua fonte — non un testo generato da un modello. Il colore riflette il tipo reale di studio, mai gonfiato.