Lebensmittel-Foto in 3D-Modell umwandeln: So geht's

Warum ein einzelnes Foto nicht reicht

Wer ein Gericht fotografiert und daraus ein 3D-Modell erwartet, stößt schnell an eine grundlegende Grenze: Aus einer einzigen Ansicht lässt sich die Rückseite eines Tellers oder die Tiefe einer Soße nicht zuverlässig bestimmen. Photogrammetrie und NeRF-Verfahren rechnen aus vielen überlappenden Aufnahmen eine Kameraposition und eine Punktwolke – fehlen diese Aufnahmen, muss eine KI die fehlende Geometrie schätzen und erfindet dabei Oberflächen.

Für Menü-Visualisierung oder AR-Vorschauen kann das ausreichen, solange die Vorderseite stimmt. Für 3D-Druck oder eine vermessungsgenaue Darstellung ist es zu wenig. Der Unterschied zwischen einer brauchbaren Annäherung und einem belastbaren Modell liegt fast immer in der Anzahl und Qualität der Ausgangsbilder.

Die Werkzeugkette für Food-Rekonstruktion

COLMAP ist eine freie, quelloffene Pipeline für Structure-from-Motion und Multi-View-Stereo mit GUI und Kommandozeile. Sie rekonstruiert aus geordneten oder ungeordneten Bildsammlungen Kameraposen, eine sparse Struktur sowie dichte Punktwolken und Meshes. Nerfstudio bietet eine End-to-End-API zum Erstellen, Trainieren und Testen von NeRFs, unterstützt Verfahren wie NeRF, Nerfacto, Instant-NGP und Splatfacto (3D Gaussian Splatting) und dokumentiert den Geometrie-Export.

Beim Freistellen hilft das Segment Anything Model (SAM) von Meta: ein promptbares Segmentierungsmodell mit offenem Code, Checkpoints und Beispiel-Notebooks unter Apache-2.0-Lizenz. Es isoliert das Gericht vom Hintergrund, bevor die Rekonstruktion startet. Für die Nachbearbeitung stehen Blender als freie 3D-Software mit dokumentiertem Handbuch zu Modellierung, Shader- und Textur-Nodes sowie Export-Workflows bereit, ergänzt durch Open3D, eine quelloffene Bibliothek für 3D-Datenverarbeitung mit C++- und Python-Schnittstelle für Datenstrukturen, Szenenrekonstruktion, Oberflächenausrichtung, Mesh-Verarbeitung und Visualisierung.

• COLMAP: Kameraposen, sparse Struktur, dichte Punktwolken und Meshes aus Bildsammlungen
• Nerfstudio: Training von NeRF, Nerfacto, Instant-NGP und Splatfacto inklusive Geometrie-Export
• SAM: promptbares Freistellen des Gerichts vom Hintergrund
• Blender und Open3D: Reparatur, Glättung und Aufbereitung des Meshes

Vom Foto zum Modell in der Praxis

Der belastbare Weg führt über mehrere Aufnahmen: Das Gericht wird aus leicht versetzten Winkeln fotografiert, idealerweise mit gleichmäßigem Licht und ohne bewegte Elemente. Diese Bildserie geht in COLMAP oder Nerfstudio, wo Kameraposen und Geometrie berechnet werden. Anschließend wird das Ergebnis in Blender oder Open3D von Ausreißern befreit, geglättet und für die Zielplattform skaliert.

Soll es schneller gehen, lässt sich ein einzelnes Foto durch ein KI-Modell in ein Mesh überführen. Dieses Verfahren erfindet jedoch Rückseiten und Details, die das Foto nicht zeigt. Für eine AR-Vorschau im Menü ist das oft akzeptabel, für eine 3D-Druckvorlage nicht.

Wo Food die Rekonstruktion schwierig macht

Glänzende Saucen, transluzente Flüssigkeiten und aufsteigender Dampf brechen das Multi-View-Matching. Sie erzeugen Reflexe und Bewegungen, die kein konsistentes Merkmal über mehrere Ansichten liefern. Das Ergebnis sind Löcher, ausfransende Ränder und falsche Tiefenwerte genau dort, wo das Gericht visuell interessant ist.

Dünne oder transparente Elemente wie Kräuter, Glaswaren oder Brühe müssen in Blender oder Open3D manuell nachgearbeitet werden. Wer diesen Aufwand scheut, sollte das Modell bewusst als stilisierte Annäherung einsetzen und nicht als exakte Nachbildung.

Export: glTF und GLB für Web und AR

glTF ist ein lizenzfreies Format zur Auslieferung von 3D-Assets; glTF 2.0 wurde als internationale Norm ISO/IEC 12113:2022 veröffentlicht. Modelle lassen sich in einer einzigen binären .glb-Datei speichern, was die Auslieferung an Web-Anwendungen und AR-Viewer vereinfacht.

Wichtig für Food-Modelle: glTF/GLB ist auf Echtzeit-Anzeige optimiert, nicht auf wasserdichte Meshes für den 3D-Druck. Wer drucken will, muss das Mesh separat prüfen und reparieren – der Export allein garantiert keine Druckbarkeit.

Realistische Erwartungen an Food-3D

Für Menü-Visualisierung und AR-Vorschauen ist der Ansatz tragfähig, wenn man die Grenzen kennt: mehrere Ansichten, kontrolliertes Licht, Nachbearbeitung und ein Format, das zur Zielplattform passt. Restaurantteams werden jedoch selten die vielen überlappenden Aufnahmen liefern, die Photogrammetrie und NeRF benötigen – hier braucht es entweder eine zentrale Capture-Station oder einen Dienstleister.

Aussagen zu Genauigkeit, Portionsgröße oder Nährwerten lassen sich aus einem 3D-Modell nicht ableiten. Es bleibt eine visuelle Annäherung, kein Messinstrument.