Esta IA puede ayudar a tu novia a tomarse selfies: las fotos generan vídeos en 3D y siempre hay un ángulo que la satisface
Las chicas que aman tomarse selfies siempre tardan mucho en tomar una foto bonita, sólo para encontrar el ángulo más bonito.
Por ejemplo, esta chica se hizo 4 selfies delante de su estantería, pero no quedó satisfecha con todos ellos.
Ahora puedes dejar la cuestión de elegir el ángulo más bonito a la IA, para que las chicas ya no tengan que preocuparse. Con sólo unas pocas fotos, puede generar selfies desde varios ángulos.
Luego, puedes encontrar el ángulo que creas que es el más hermoso en el vídeo generado por IA y compartirlo con tu círculo de amigos.
Esta IA es un nerfies desarrollado conjuntamente por la Universidad de Washington y Google.
Este método no requiere un equipo demasiado complejo, siempre que la cámara y la CPU del teléfono inteligente puedan completar el cálculo y el renderizado. Es mucho más económico que el lidar integrado del iPhone 12 Pro para generar imágenes en 3D.
¿Te resulta familiar cuando ves el nombre nerfies? Nerfies es en realidad la fusión de las dos palabras NeRF+Selfies.
NeRF (Neural Radiation Field) es un modelo desarrollado recientemente por Google para convertir imágenes 2D en 3D, pero NeRF requiere que el sujeto permanezca completamente quieto durante todo el proceso.
Por ejemplo, cuando la chica de arriba se tomó 4 selfies, la postura de su cabeza cambiaría inevitablemente. Si se aplicara NeRF directamente, el efecto sería desastroso.
Y los nerfies son campos de radiación neuronal deformables (Deformable NeRF), que pueden reconstruir escenas deformadas de forma no rígida.
Sobre la base de NeRF, el autor propone una regularización elástica de NeRF basada en los principios de simulación geométrica y física, lo que mejora aún más la solidez de la conversión de 2D a 3D.
En NeRF variable, el autor introduce la regularización elástica, la regularización de fondo y una técnica de recocido mínimo local que evita la maldad.
Los autores asocian un código de deformación latente (ω) y un código de apariencia (ψ) a cada imagen. El rayo de la cámara se traza en el marco de observación y la muestra se convierte a lo largo del rayo al marco canónico utilizando un campo de deformación, que está codificado en un MLP mediante el código de deformación ω.
Además, utilice la posición de la muestra convertida (x0, y0, z0), la dirección de observación (θ, φ) y el código de apariencia ψ como entrada del MLP para consultar la plantilla del módulo NeRF y comparar las muestras. a lo largo del rayo Haz puntos.
La NeRF variable no sólo se puede utilizar para selfies, sino que también tiene usos más interesantes.
Por ejemplo, crear un efecto de "zoom de Hitchcock" solía requerir habilidades fotográficas especializadas, o grabar vídeos de lejos a cerca y luego postprocesarlos. Ahora bastarán unas cuantas fotos.
¿Y si no es necesario cambiar el ángulo de la escena, sino un cambio en la postura del personaje?
NeRF variable puede interpolar linealmente fotografías de poses arbitrarias entre la cabeza izquierda y derecha.
Finalmente, otro uso es generar vídeos anti-vibración. Dado que NeRF variable puede generar imágenes en cualquier ángulo, ahora puede dejar que la mano sea responsable de las sacudidas y de la estabilidad.
En la actualidad, el autor no ha publicado el código fuente, pero se ha colocado un botón de GitHub en la página de inicio de su proyecto. Parece que están listos para abrir el código. ¿Estás ansioso por probarlo?
Dirección del proyecto:
/event/2571160736900