Qué implica realmente convertir una foto de comida en 3D

El punto de partida importa: una única imagen de un plato no contiene información sobre su parte posterior ni sobre el volumen oculto. Los modelos de IA pueden estimar una geometría plausible, pero esa cara trasera es inventada, no medida. Para obtener una reconstrucción fiable hace falta capturar el plato desde varios ángulos con imágenes solapadas.

El flujo técnico se apoya en dos familias de herramientas. Por un lado, la fotogrametría clásica: COLMAP es una tubería libre y de código abierto de Structure-from-Motion y Multi-View Stereo, con interfaz gráfica y línea de comandos, que reconstruye poses de cámara, estructura dispersa y nubes de puntos o mallas densas a partir de colecciones de imágenes ordenadas o no ordenadas. Por otro, la reconstrucción neuronal: Nerfstudio ofrece una API de extremo a extremo para crear, entrenar y probar NeRFs, con métodos como NeRF, Nerfacto, Instant-NGP y Splatfacto (3D Gaussian Splatting), y documenta la exportación de geometría.

  • Varias vistas superpuestas son la base de una reconstrucción fiable.
  • La IA de una sola imagen rellena huecos con geometría estimada, no observada.

Aislar el plato y reconstruir la geometría

Antes de reconstruir conviene separar el sujeto del fondo. El Segment Anything Model (SAM) es un modelo fundacional de segmentación de imágenes con indicaciones, publicado por Meta/Facebook Research con código, checkpoints y cuadernos de ejemplo bajo licencia Apache-2.0. Sirve para recortar el plato y evitar que el mantel o la vajilla contaminen la nube de puntos.

Con las imágenes recortadas, COLMAP puede estimar las poses de cámara y generar una malla densa. Si prefieres el enfoque neuronal, Nerfstudio entrena una representación volumétrica y permite exportar la geometría resultante. En ambos casos el resultado es una malla aproximada que todavía necesita revisión.

  • SAM aísla el sujeto con indicaciones y checkpoints abiertos.
  • COLMAP reconstruye poses, estructura dispersa y malla densa.
  • Nerfstudio entrena NeRF o 3D Gaussian Splatting y exporta geometría.

Por qué la comida es más difícil que un producto rígido

Una caja o un zapato tienen superficies mates y opacas que la fotogrametría maneja bien. Un plato cocinado presenta salsas brillantes, caldos translúcidos, hierbas finas y, a veces, vapor. Los reflejos y la transparencia rompen la coincidencia entre vistas: el algoritmo ve colores distintos en el mismo punto según el ángulo, y genera agujeros o superficies ruidosas.

Los elementos delgados o transparentes —hojas de hierba, cristalería, caldo— suelen requerir limpieza manual en Blender u Open3D. Open3D es una biblioteca de código abierto para procesamiento de datos 3D con interfaces C++ y Python, que cubre estructuras de datos 3D, reconstrucción de escenas, alineación de superficies, procesamiento de mallas y visualización. Blender, por su parte, es software 3D libre y de código abierto con manual documentado sobre modelado, nodos de sombreado y texturas, y flujos de exportación.

  • Los brillos y la translucidez generan artefactos de reconstrucción.
  • Las hierbas y la cristalería necesitan retoque manual.
  • Blender y Open3D son las herramientas habituales de limpieza.

Exportar para web, AR o impresión 3D

Para menús web y vistas previas en realidad aumentada, el formato habitual es glTF: un formato de entrega de activos 3D libre de regalías, cuya versión 2.0 se publicó como estándar internacional ISO/IEC 12113:2022. Los modelos pueden guardarse en un único archivo binario .glb, lo que simplifica la carga en el navegador y en visores móviles.

Conviene tener claro que glTF/GLB está optimizado para visualización en tiempo real, no para impresión 3D. Una malla reconstruida con fotogrametría o NeRF no suele ser estanca ni cerrada, así que imprimirla requiere reparación de malla y comprobaciones de estanqueidad que el flujo de visualización no garantiza.

  • glTF 2.0 es el estándar ISO/IEC 12113:2022 para entrega de activos 3D.
  • El archivo .glb empaqueta el modelo en un solo binario.
  • La impresión 3D exige reparación de malla aparte.

Un flujo de trabajo realista, paso a paso

Primero, captura varias imágenes del plato desde ángulos distintos con solapamiento suficiente; si solo tienes una foto, asume que la IA estimará la geometría oculta. Segundo, segmenta el sujeto con SAM para eliminar el fondo. Tercero, reconstruye con COLMAP o entrena con Nerfstudio y exporta la geometría. Cuarto, limpia la malla en Blender u Open3D: cierra agujeros, suaviza superficies y elimina artefactos. Quinto, exporta a glTF/GLB para web y AR.

Este flujo funciona, pero no es instantáneo ni apto para personal de restaurante sin formación. La captura de muchas imágenes superpuestas es un requisito que la mayoría de los equipos de sala no va a cumplir en su día a día. Para menús, suele ser más práctico encargar la captura a alguien con equipo y tiempo, o aceptar un modelo aproximado generado desde una sola imagen.

  • Captura multivista, segmentación, reconstrucción, limpieza y exportación.
  • La captura rigurosa es el cuello de botella operativo.

Preguntas frecuentes

¿Puedo convertir una sola foto de un plato en un modelo 3D exacto?+

No con exactitud geométrica. Una sola imagen no contiene información de la parte oculta del plato; los modelos de IA pueden estimar una forma plausible, pero la cara trasera es inventada. Para una reconstrucción fiable necesitas varias vistas solapadas.

¿Qué herramientas gratuitas existen para este proceso?+

COLMAP para fotogrametría, Nerfstudio para NeRF y 3D Gaussian Splatting, SAM para segmentar el sujeto, Open3D para procesar la malla y Blender para modelado y exportación. Todas son de código abierto y cuentan con documentación pública.

¿El modelo glTF/GLB sirve para imprimir en 3D?+

glTF/GLB está pensado para visualización en tiempo real, no para impresión. Las mallas reconstruidas suelen necesitar reparación de estanqueidad antes de imprimirse, y ese paso no está cubierto por el formato de entrega.