Visione del Cibo · La foto in due secondi
Stima del volume degli alimenti con sintesi di vedute deep learning da una singola mappa di profondità — Lo et al. 2018
Immaginate di dover misurare il volume di una banana guardandola da un solo lato: non potete vedere quanto è spessa nella parte posteriore. Questo è esattamente il problema di ogni app per il conteggio delle calorie che cerca di stimare quanta cibo è nel piatto.
Lo e colleghi dell'Imperial College London hanno risolto il problema insegnando a una rete neurale a predire l'aspetto del retro di un alimento a partire da una singola immagine di profondità, per poi fondere matematicamente la vista frontale e quella posteriore sintetizzata in una nuvola di punti 3D completa. Un algoritmo alpha-shape converte poi la nuvola in un solido meshato di cui si può calcolare il volume con precisione.
Su otto oggetti a forma irregolare — tra cui banana, limone e scatoletta di tonno — il sistema ha stimato i volumi con una precisione fino al 97,6% in meno di un secondo per oggetto. La vera svolta è che non occorrono marcatori fiduciali, foto multi-angolo o adattamento manuale di modelli 3D: basta una singola immagine di profondità, captabile già oggi dagli smartphone più moderni.
Cosa dice, in breve
- La stima del volume degli alimenti è un passaggio critico ma problematico nella valutazione dietetica oggettiva; i metodi basati su modelli 3D richiedono intervento manuale, quelli stereoscopici richiedono acquisizioni multi-frame — entrambi falliscono su superfici a bassa tessitura o forme irregolari.
- Lo et al. (2018) propongono il primo sistema basato su sintesi di vedute con apprendimento profondo per la stima del volume alimentare a partire da una singola immagine di profondità (480x640 pixel, Intel RealSense): una rete encoder-decoder con strati inception predice l'immagine di profondità dal lato opposto nascosto e stima la matrice estrinseca di traslazione tra le due posizioni della telecamera.
- Il dataset di addestramento è sintetico: 20.000 coppie di mappe di profondità per oggetto, renderizzate da modelli 3D del dataset Yale-CMU-Berkeley (64k punti per vertice) con quattro tipi di movimento della telecamera; suddivisione 70/10/20% per addestramento/validazione/test.
- Il completamento della nuvola di punti fonde la mappa di profondità iniziale con quella sintetizzata nel medesimo sistema di coordinate mondo; un algoritmo ICP modificato (solo traslazione, ottimizzato con discesa del gradiente, inizializzato dalla matrice predetta dalla rete) affina la registrazione.
- La meshatura alpha-shape — anziché convex hull — calcola il volume di forme alimentari non convesse.
- Accuratezza sperimentale su otto oggetti: 97,6% con completamento a estrinseci noti; 93,1% con ICP a estrinseci predetti dalla rete; tempo di elaborazione totale: 0,84 ± 0,02 s per oggetto.
- Limite principale: la rete non gestisce efficacemente gli spostamenti laterali marcati dell'oggetto (center-shift); tutti gli esperimenti sono limitati a impostazioni di laboratorio e dataset sintetici.
Provenienza
- Fonte
- Food Volume Estimation Based on Deep Learning View Synthesis from a Single Depth Map— Lo 2018
- Licenza
- CC BY 4.0
- Nel Kosmos
- 3 voci · 105 fatti atomici · tier MAIOR
↯ Questa è una voce vera del nostro Knowledge Graph, ancorata alla sua fonte — non un testo generato da un modello. Il colore riflette il tipo reale di studio, mai gonfiato.