Fotografía modelo 3D
El equipo dijo en una entrevista con MIT Technology Review en junio del año pasado: "Creemos que este método no sólo puede proporcionar a las personas nuevas formas de apreciar e interactuar con las fotografías, sino que también puede brindar nuevas formas de reconstruir avatares virtuales a partir de una única imagen, e incluso comprender el verdadero estado del modelado artístico humano a partir de una única fotografía”
De hecho, surge la idea de reconstruir un modelo 3D a partir de imágenes 2D. no es fresco. Hace más de diez años, el equipo de reconstrucción 3D de Stanford dirigido por Andrew Ng estudió este tema. Pero las soluciones emergentes son más poderosas (o se necesitan con más urgencia) que nunca y están estrechamente relacionadas con los problemas actuales de suministro de contenido en las industrias juveniles de realidad virtual y realidad aumentada.
Hasta la fecha, la mayoría de los modelos 3D utilizados para contenido de realidad virtual y realidad aumentada todavía son creados manualmente por artistas 3D, lo cual es una tarea que requiere mucho tiempo, es costosa y no es escalable. Además, todavía hay escasez de talentos en la industria y este problema no se puede aliviar con la expansión de escala. Debido a esto, varias recompras de 3D representadas por Sketchfab son muy populares, donde los artistas pueden publicar, compartir, descubrir y comprar y vender diversos contenidos 3D, VR y AR.
A pesar de esto, la comunidad de creadores todavía está ansiosa por deshacerse de su dependencia del trabajo humano y espera obtener beneficios más ideales de las herramientas que brindan capacidades de automatización. En concreto, estas herramientas deben ser capaces de crear atajos y "trucos" que agilicen y mejoren enormemente el proceso creativo.
A este respecto, el fundador y CEO de Trnio, Jan-Michael Trssler, dijo: "Para un mundo verdaderamente inmersivo, los mejores creadores de contenido necesitan usar mucha tecnología y software para crear elementos auténticos. He visto muchos Los artistas usan la fotografía para medir y capturar objetos, y luego la usan como punto de partida para crear un modelo 3D. Luego, el artista simplificará y optimizará los elementos del activo para trabajar en un motor AR/VR". p>
Hoy. , la tecnología de escaneo 3D representada por fotogrametría y captura de volumen continúa desarrollándose en términos de calidad de salida y acortando el ciclo de producción de modelos 3D, lo que hace que sea cada vez más fácil para el mundo real convertirse en una fuente directa para la producción de modelos 3D. Esta tecnología puede ayudar a los creadores actuales, e incluso a los nuevos interesados en esto, o a los participantes potenciales que aún dudan, a completar más fácilmente la imagen que han esbozado en su mente. "Creemos que la mayoría de los creadores de contenido en realidad no exploran contenido 3D porque carecen de las herramientas para hacerlo", dijo Charles Carriere, fundador y presidente de Scandy en Nueva Orleans. De hecho, casi todo lo que se crea ahora existe en 2D porque es 2D. Las herramientas son fácilmente accesibles y están disponibles para todos, una de las cuales es la capacidad de usar la cámara de un teléfono móvil para estos propósitos extremadamente creativos. Dado que Snapchat, Instagram y YouTube brindan plataformas y herramientas para crear modelos 3D, el contenido 3D de alta calidad. explotar y atraer a más consumidores”.
Esta expectativa se basa en situaciones reales del pasado. Obviamente, es muy poco realista. Sin embargo, la aparición de tecnologías de reconstrucción 3D como Photo Wake ha convertido repentinamente las imágenes, los activos e incluso las bibliotecas de activos en 2D en una fuente inagotable de material. Los modelos 3D se pueden generar casi automáticamente y aplicarse rápidamente a escenarios de experiencias inmersivas. De hecho, esta tecnología no sólo permite que toda la industria se ponga al día, sino que también se espera que desencadene una explosión de vida similar al Cámbrico en el campo inmersivo.
Mirando el presente, las compras y el comercio minorista en AR se convertirán en la primera cabeza de playa importante. Un equipo de empresarios de alto nivel, compuesto por ex alumnos de Apple, Facebook, PayPal y varios doctores de la Universidad de Stanford, hicieron recientemente su aparición colectiva como participantes de Threedy.ai. Threedy.ai es una startup tecnológica profunda que se especializa en resolver problemas de suministro de contenido 3D.
El cofundador y director ejecutivo de Threedy.ai, Nima Sarshar, explicó: “Se puede pensar que los fabricantes que crean estos productos deben tener los materiales de modelo 3D correspondientes, pero los hechos lo dicen. Aunque tenemos archivos CAD relevantes y Los fabricantes están dispuestos a hacerlos públicos para generar mallas 3D, carecen de las texturas o materiales correspondientes. Además, no existe un flujo de trabajo de creación de modelos AR unificado que pueda digerir los seis principales suministros de CAD específicos del fabricante y más de 14 formatos de archivo. "Toda la industria manufacturera maneja envases texturizados a mano de una manera muy subcontratada". Por ejemplo, la aplicación Houzz AR permite a los usuarios ver habitaciones en función de métricas como el tamaño y el color. Muebles en el interior. El desafío es que todas las principales aplicaciones de compras de realidad aumentada, incluidas Houzz, Wayfair y Overstock, solo tienen un pequeño inventario de modelos 3D. En concreto, Houzz tiene sólo el 3% de los modelos 3D de toda la categoría de mobiliario de restauración.
Sarshar explicó: “Nuestro objetivo es convertirnos en el sitio web de Getty Images en el campo de los modelos 3D de productos comerciales. Puedes imaginar que en el futuro, cada artículo del catálogo de Amazon tendrá su correspondiente modelo 3D.
Su primer producto es Threedy Convert, que puede convertir automáticamente fotografías 2D ordinarias de productos y muebles para el hogar en fotografías de alta calidad mediante geometría computacional especial y algoritmos de aprendizaje profundo. modelo 3D. Esta tecnología se puede aplicar en lotes a una gama cada vez mayor de categorías de productos, lo que a menudo requiere solo una fotografía del producto, y el costo total de implementación es casi dos órdenes de magnitud más barato que las soluciones existentes.
Sarshar señaló: “Si bien el escaneo puede proporcionar una mayor calidad, todo el proceso sigue siendo muy tedioso y costoso. Además, la conversión de resultados de escaneo con muchos polígonos a modelos con pocos polígonos adecuados para XR no lo es. tarea fácil. Hay otro problema importante. Para la mayoría de los sitios web de comercio electrónico, no hay ningún objeto físico correspondiente, sólo un número limitado de fotos de productos no estructurados."
Este tipo de inicio es desde abajo. Los materiales dimensionales ayudan. El método de construcción de materiales de alta dimensión es sorprendente y seguramente será buscado con entusiasmo por el mercado. En lugar de una solución viable a corto plazo, esta tecnología representa un canal completamente nuevo para la conversión de contenido. A medida que las industrias de realidad virtual y realidad aumentada continúen evolucionando y cambiando, es de esperar que estos contenidos estén completamente disponibles para el público en general en el momento adecuado; soy optimista de que esto pueda suceder dentro de este año.