Visione del Cibo · La foto in due secondi
Stima della porzione alimentare tramite scaling 3D — Vinod et al. 2024
Immaginate di voler sapere quante calorie ci sono nel piatto di pasta che avete appena fotografato con il telefono. Invece di addestrare una rete neurale su milioni di immagini etichettate, questo articolo propone una via più diretta: tenere in archivio un modello 3D di ciascun alimento, calcolare dove si trovava la fotocamera e dove era posizionato il cibo — usando una scacchiera stampata su carta — e poi renderizzare il modello 3D in quella stessa posizione.
Il confronto tra l'ingombro in pixel dell'alimento reale e quello del modello renderizzato rivela quanto sia più grande o più piccolo il cibo reale, e quindi quale sia il suo volume e il suo contenuto calorico. Nessun addestramento richiesto per questo passo finale.
Cosa dice, in breve
- I metodi tradizionali di assessment dietetico soffrono di bias da recall; i metodi basati su immagine riducono il carico all'utente ma perdono l'informazione di profondità tridimensionale.
- Questo articolo propone un framework geometrico che stima la posa della fotocamera (algoritmo PnP su 12 angoli di una scacchiera) e la posa dell'oggetto alimentare (PCA sulla maschera di segmentazione, rettifica DLT pixel→cm) e genera il rendering di un modello 3D scansionato nelle pose stimate.
- Il fattore di scala è s = sqrt(A / A'), dove A e A' sono le aree in pixel dell'alimento nell'immagine reale e nell'immagine renderizzata; il volume del modello 3D viene scalato di conseguenza e l'energia si ottiene moltiplicando il volume stimato per la densità energetica USDA FNDDS.
- Le reti neurali sono confinate ai passi upstream: classificazione (YOLOv8 su VIPER-FoodNet) e segmentazione zero-shot (SAM); nessuna rete è addestrata per la stima della porzione.
- Viene introdotto SimpleFood45: 513 immagini, 12 tipi di alimento, acquisite con Samsung Galaxy S22 Ultra e scacchiera 5x4 (1,2 cm tra angoli), modelli 3D con scanner Revopoint POP2, annotazioni di volume (mL), peso (g) ed energia (kCal).
- Sul benchmark SimpleFood45 il metodo ottiene EMAE 31,10 kCal (EMAPE 17,67%) e VMAE 24,51 mL (VMAPE 14,01%), superando tutti i baseline deep learning e eguagliando o superando il metodo voxel VREPF.
- Test cross-dataset senza dati di addestramento su Nutrition5k (Mela, Bagel, Pizza) confermano la generalizzabilità; l'analisi di ablazione mostra che la traslazione sull'asse Y (profondità) è il parametro di posa dominante.
Provenienza
- Fonte
- Food Portion Estimation via 3D Object Scaling— Vinod 2024
- Licenza
- unknown
- Nel Kosmos
- 3 voci · 103 fatti atomici · tier MAIOR
↯ Questa è una voce vera del nostro Knowledge Graph, ancorata alla sua fonte — non un testo generato da un modello. Il colore riflette il tipo reale di studio, mai gonfiato.