Analice el principio de la cámara de Google Pixel ¿Por qué las cámaras de lente única de Pixel 3 y Pixel 3a son tan potentes?
El software se define como aquel que aporta innovación y avances al hardware existente. Google Taiwán también invitó a Marc Levoy, un destacado ingeniero de Google, que tiene experiencia en tecnología de imágenes digitales y también está compuesto por? El profesor emérito de informática de la Universidad de Stanford, apoyado por el fundador de VMWare, resolvió la clave de por qué la cámara Pixel es tan buena para los medios taiwaneses. Señaló al principio que la tecnología de imágenes de los teléfonos móviles Pixel subvierte el hardware del pasado. -cámaras definidas y las transforma en cámaras definidas por software La cristalización de la tecnología.
El enfoque de los teléfonos móviles Pixel es romper con la dependencia pasada del hardware de función fija, aprovechar la fotografía computacional y el disparo continuo, reemplazar los algoritmos tradicionales con tecnología eficiente de aprendizaje automático y construir modelos basados en Google. enormes datos y cooperar con Google en el aprendizaje automático, lo que permite una computación asombrosa en los teléfonos Pixel contemporáneos de alto rendimiento. Al mismo tiempo, Google no oculta su tecnología de imagen para impulsar la innovación y atraer más talentos.
Marc Levoy señaló que las aplicaciones de cámara en los teléfonos móviles deben cumplir varios principios básicos: deben ejecutarse rápidamente, el modo predeterminado no puede fallar, se pueden reproducir las situaciones especiales que encuentran los consumidores en la fotografía, y los modos especiales pueden aceptar fallos ocasionales. En términos de velocidad en tiempo real, la información de monitoreo en tiempo real debe ser superior a 15 fps, el retardo del obturador debe ser inferior a 150 ms y el tiempo de imagen debe ser inferior a 5 segundos.
El HDR+ avanzado, que combina disparo continuo e IA, se basa en el método de exposición cerrada que se encuentra en las cámaras del pasado. Esta tecnología captura imágenes en diferentes niveles de exposición y superpone varias imágenes para lograr imágenes nítidas con detalles nítidos desde poca hasta mucha luz. Sin embargo, debido a la necesidad de apilar imágenes con precisión, es difícil capturar imágenes HDR con éxito sin un trípode y sin agitar el teléfono.
En Pixel 3+, el método consiste en cambiar las fotos tomadas con diferentes exposiciones y sintetizarlas en función de las imágenes subexpuestas de disparo continuo de la misma exposición, para que las imágenes sean más similares, fáciles de calibrar, y puede tener mejores resultados. Relación señal-ruido desagradable, reduciendo el ruido de las sombras. Al mismo tiempo, utilizar un mapa de tonos para realzar las sombras y reducir las luces sacrificará el tono y el contraste generales, pero puede preservar el contraste local. Gracias a avances conceptuales, la tasa de éxito y la calidad de imagen de la captura de imágenes HDR+ en teléfonos Pixel han superado al modo HDR tradicional.
Modo retrato de lente única que combina aprendizaje automático y tecnología de doble píxel. Debido al tamaño inherente de los elementos fotosensibles de los teléfonos móviles, si la tecnología de la cámara está definida por el hardware, es difícil capturar la profundidad de campo. como una cámara profesional, el modo retrato es contemporáneo La forma en que se usan los teléfonos móviles en la etapa inicial, para implementar el modo retrato, usamos dos lentes para capturar dos imágenes con un enfoque similar, calculamos la profundidad mediante el cálculo de coincidencia estéreo y luego seleccionamos. un plano como punto de referencia claro y, finalmente, la imagen se vuelve borrosa fuera del punto de referencia. Sin embargo, esto aumentará la complejidad del hardware y requerirá el procesamiento de información de dos lentes.
Los teléfonos Pixel con una sola lente se basan en el aprendizaje automático. La información de profundidad se obtiene mediante la combinación de la lente principal y elementos de enfoque de doble píxel, mientras que la lente frontal utiliza el aprendizaje automático para el análisis de imágenes, lo que puede aún logra un retrato de lente única; Google estima la figura de cada píxel en la imagen a través de una red neuronal convolucional, entrenada con más de un millón de figuras y accesorios etiquetados, lo que permite que el modelo de IA delinee la figura en la imagen.
Zoom de alta resolución con excelente tecnología de inteligencia artificial. En el pasado, debido a que los teléfonos móviles solo tenían un diseño de lente única de enfoque único, solo podían capturar imágenes distantes mediante zoom digital, es decir, recorte digital. pero esto equivalía a editar solo la imagen. Si se recorta parte de la imagen, la calidad de la imagen también disminuirá. Aunque Google no utiliza tecnología relacionada con la IA en el zoom de alta resolución del Pixel, utiliza tecnología de disparo continuo de alta velocidad para sintetizar imágenes con píxeles más altos, lo que lo hace comparable a los modelos actuales que usan el doble de lente.
La clave es la estructura de matriz de Bayer utilizada en los componentes de las cámaras digitales contemporáneas, que forma una imagen mediante la combinación de píxeles R, G y B en la matriz.
Al realizar disparos continuos de alta velocidad a mano, las imágenes originales, horizontales, verticales y verticales y horizontales se combinan, de modo que la información de color de las múltiples imágenes después del disparo continuo se complementan entre sí y la alta resolución se mejora mediante la reconstrucción de la información de color. . Si se encuentra en un entorno perfecto y sin sacudidas, se puede fabricar con tecnología antivibración.
Modo de visión nocturna que convierte la oscuridad en luz de día El modo de visión nocturna de Google todavía se basa en la tecnología de disparo continuo de alta velocidad. Después de presionar el obturador, captura 65,438+05 imágenes a alta velocidad. Además, el tiempo de disparo también se evalúa en función del grado de movimiento de la mano y detectando si hay objetos en movimiento en el encuadre. Si hay temblores, el tiempo de visualización se ampliará; de lo contrario, se acortará. Por otro lado, el concepto técnico de la función de zoom de alta resolución se introdujo a partir del Pixel 3 y finalmente se combinó con el aprendizaje del balance de blancos para ajustar el tono del color.
El punto de partida de la tecnología de visión nocturna es realizar escenas nocturnas difíciles de identificar o incluso invisibles para el ojo humano, pero que aún existen y tienen color. A través de las tres características principales de la pintura clásica, Google utiliza los principios de mejorar el contraste, proyectar sombras en negro y rodear la escena con oscuridad para restaurar los colores a través del mapeo de tonos, y utiliza la pintura clásica como su maestro para presentar un excelente modo de visión nocturna.
Sin VisualCore, la única diferencia entre Pixel 3a y Pixel 3 es la velocidad. Algunos consumidores pueden sentir que el rendimiento de la imagen del Pixel 3a será diferente sin VisualCore. Pero la garantía de Marc Levoy es que, además de la alta eficiencia de procesamiento que brinda VisualCore, debido a que las cámaras y los modelos de IA son los mismos, la serie Pixel 3a solo tiene velocidades de procesamiento más lentas y no habrá diferencia en la calidad de la imagen.