¿Por qué algunas cámaras requieren solo una cámara, mientras que otras requieren dos cámaras?

Estructura de cámara dual

Los teléfonos inteligentes de gama alta tienen cada vez menos aspectos destacados y el punto de referencia LeiTuTu ya no puede reflejar las ventajas del teléfono. Luego hizo su debut la cámara dual más dominante. Las cámaras duales mencionadas aquí no son como los teléfonos inteligentes anteriores, con una cámara en el frente y otra en el frente. En cambio, se usan dos cámaras traseras en una para simular un par de ojos humanos para lograr más funciones de cámara y mejores fotos.

En general, las interfaces de cámara de los smartphones actuales son interfaces MIPI (Mobile Industry Processor Interface). Anteriormente, las plataformas de telefonía móvil solo tenían 2 interfaces MIPI, una para la cámara frontal y otra para la cámara trasera. Para cámaras duales, se requiere que la plataforma admita al menos tres interfaces MIPI. De hecho, en plataformas de gama alta anteriores, para lograr píxeles más altos, se han utilizado ISP de doble canal (procesamiento de señal de imagen, procesamiento de señal de imagen). Por ejemplo, para admitir cámaras de 16 millones, se utilizan ISP de dos canales con 8 millones. Se utilizarán las capacidades. Es probable que este tipo de plataforma tenga solo MIPI bidireccional, pero esto no impide que los ingenieros fabriquen una sola cámara frontal + dos cámaras traseras.

Aplicación de cámara dual

Entonces la pregunta es, ¿qué puede hacer la cámara dual?

1. Las cámaras duales pueden medir distancias y pueden usarse para aplicaciones relacionadas con la distancia.

El ojo humano puede localizar fácilmente la distancia de un objeto, pero cuando una persona cierra uno de sus ojos, la capacidad de posicionamiento se reducirá mucho. Las cámaras duales son aplicaciones que simulan el ojo humano. En pocas palabras, para medir la distancia, es calcular el ángulo θ1 y θ2 entre el objeto fotografiado y la cámara izquierda/derecha mediante un algoritmo, más un valor y fijo (es decir, la distancia al centro de las dos cámaras), y es muy fácil calcular el valor z (es decir, la distancia desde el objeto a la cámara).

Sin embargo, esto también es fácil de calcular. Si la distancia entre centros de las dos cámaras es demasiado pequeña, la distancia calculada al objeto será muy cercana. Si desea calcular una distancia mayor, debe aumentar la distancia entre las cámaras izquierda y derecha.

Como se muestra en la imagen de arriba, debido a que las cámaras duales pueden determinar la distancia del sujeto a través de algoritmos, es fácil crear algunos efectos especiales a través de esta función, como:

A. Fondo desenfocado

Una de las características más destacadas de las cámaras réflex es su gran apertura. Dado que las cámaras duales pueden medir las distancias de diferentes objetos que se están fotografiando, pueden lograr fácilmente el efecto de una gran apertura alineando objetos que requieren una gran apertura y desenfocando otros objetos a diferentes distancias.

)

B. Reemplazo de fondo

Dado que se puede medir la distancia, se puede extraer el sujeto del objeto fotografiado y se puede reemplazar el fondo. que es mejor que PD. Simple, recorta la imagen.

C. Efectos especiales de fondo

Dado que la distancia se puede medir y el sujeto y el fondo se pueden separar, es fácil realizar cualquier procesamiento en el fondo, por lo que no lo haré. Describelo demasiado aquí.

D. Medición de distancia

Esta imagen identifica claramente la distancia de diferentes objetos. Esta información de distancia está marcada en diferentes colores. Cuando el AP obtiene la información de distancia de diferentes objetos, puede realizar las diversas funciones mencionadas anteriormente.

2. Las cámaras duales pueden hacer zoom óptico

El zoom óptico utiliza principalmente diferentes FOV (ángulos de visión) para las cámaras izquierda y derecha, de modo que las dos cámaras tienen vistas diferentes. Cuando el usuario necesita una fotografía de gran angular, se utiliza la cámara izquierda con un ángulo de visión de 85 grados para obtener un efecto de gran angular. Cuando el usuario necesita una foto con teleobjetivo, se utiliza la cámara adecuada con un ángulo de visión de 45 grados para obtener el efecto teleobjetivo.

Para garantizar un alto grado de superposición entre los objetos capturados por las cámaras izquierda y derecha, el módulo de cámara dual con zoom óptico no puede estar tan separado como el módulo de cámara de aplicación de distancia, en cambio, el izquierdo y el otro. Las cámaras adecuadas deben colocarse lo más cerca posible.

Si los FOV de las dos cámaras son diferentes, uno es un FOV grande y el otro es un FOV pequeño, y luego el efecto entre las dos lentes ópticas se realiza a través del algoritmo, el zoom óptico puede ser fácilmente logrado.

Si no se utilizan cámaras duales, el texto no quedará claro después de ampliar la imagen

Si se utilizan cámaras duales, el texto seguirá siendo claro después de ampliar la imagen

Esta imagen es una fusión Para imágenes de gran angular y teleobjetivo, la foto de actitud media se calcula mediante un algoritmo para que los detalles no se distorsionen

3. Mejora del efecto de luz oscura.

En términos generales, la mejora de la luz oscura se encuentra entre las dos cámaras: una usa una cámara estándar que usa RGBG y la otra usa una cámara en blanco y negro sin el filtro RGBG. RGBG se utiliza para obtener el color del objeto, mientras que la cámara en blanco y negro se utiliza para obtener una mejor cantidad de luz para determinar la intensidad de la luz del objeto que se está fotografiando. Luego fusione las dos imágenes para obtener una mejor mejora en condiciones de poca luz.

Actualmente existen dos métodos de fusión:

Utilizar la imagen en blanco y negro como cuerpo principal, pegar el color de cada píxel obtenido de la imagen en color en la imagen en blanco y negro, y fusionar las dos imágenes.

Utilice imágenes en color como cuerpo principal, compense la intensidad de la luz de cada imagen obtenida en las imágenes en blanco y negro con las fotografías en color y fusione las dos imágenes.

En cuanto a qué método es más adecuado para la integración, las personas benévolas pueden tener opiniones diferentes, por lo que no lo discutiremos aquí.

Del mismo modo, para mejorar en condiciones de poca luz, para garantizar un alto grado de superposición entre los objetos capturados por las cámaras izquierda y derecha, este tipo de módulo de cámara dual también requiere que cuanto más cerca, mejor.

Es necesario explicar que Huawei P9 en realidad usa este módulo.

Por supuesto, algunas personas en la industria también dijeron que el efecto actual de este algoritmo no es obvio. La compensación de la luz oscura es realmente útil para los usuarios, especialmente al fotografiar escenas nocturnas. Sin embargo, algunos clientes piensan que la tecnología Dual PD de Sony y Samsung es muy buena y están más dispuestos a utilizar cámaras Dual PD para compensar la poca luz.

Ya sea que las cámaras duales o Dual PD tengan un mejor efecto de compensación de luz oscura, puedes comparar el Huawei P9 y el Samsung Galaxy S7 edge y tendrás la respuesta.

Esto generalmente utiliza una cámara a color + blanco y negro. Obtenga la intensidad de la luz de la imagen a través de la cámara en blanco y negro para compensar la luz oscura de la imagen.

4. Disparo y modelado 3D

Los algoritmos para el disparo y el modelado 3D son en realidad algo similares a las aplicaciones a distancia, excepto que requieren una mayor precisión y, a veces, incluso es necesario utilizarlos. Rango infrarrojo para un cálculo de distancia más preciso.

Cuando hablamos del algoritmo de las cámaras duales, tenemos que mencionar el ISP (Procesamiento de señal de imagen). La función principal del ISP es posprocesar la señal emitida por el sensor de imagen frontal. Las funciones son corrección lineal, eliminación de ruido, eliminación de píxeles muertos, interpolación, balance de blancos, control de exposición automático, etc., dependen del ISP para restaurar mejor los detalles de la escena bajo diferentes condiciones ópticas. La tecnología ISP determina en gran medida el rendimiento de los teléfonos móviles. Calidad de imagen.

En la era de los teléfonos básicos, todos los ISP se instalaban en las cámaras, y las cámaras con diferentes píxeles se combinaban con ISP de diferente rendimiento. A medida que los píxeles de las cámaras de los teléfonos móviles aumentan cada vez más, los requisitos de rendimiento del ISP son cada vez mayores. Si el ISP está integrado en el sensor de la cámara, inevitablemente hará que el módulo de la cámara sea demasiado grande e incluso afectará la toma de fotografías. efecto. Por lo tanto, en la era de los teléfonos inteligentes, el ISP suele estar en el chip SoC principal. Para lograr mejores resultados, algunos clientes de marcas incluso agregan un ISP a cualquier costo para lograr efectos fotográficos mejores y más profesionales.

Un buen algoritmo de cámara debe combinarse con un buen ISP y el algoritmo se complementan y son indispensables. La cámara dual requiere más rendimiento del ISP. En primer lugar, para permitir que las señales de las cámaras izquierda y derecha se procesen al mismo tiempo, un único ISP ya no puede satisfacer las necesidades de las cámaras duales. Esto requiere que un ISP de doble canal implemente esta función.

Tome la mejora de la luz oscura como ejemplo. Las imágenes en color/blanco y negro ingresan a sus respectivos canales ISP y canales de calibración, y luego las dos imágenes se combinan (como extraer las mismas partes de las dos imágenes). y eliminando solo una parte capturada por la cámara), y luego procesa imágenes relacionadas mediante oclusión, detección, compensación y otros algoritmos. Finalmente, las dos imágenes se fusionan para lograr una mejora del color. Por supuesto, las cosas reales que hacen los ISP con los algoritmos son mucho más de lo que se muestra en esta imagen.

Por supuesto, también hay un pequeño episodio en este. Después de todo, son dos ISP y los dos ISP tienen algunos problemas con diferentes velocidades y capacidades de procesamiento. Para garantizar que dos ISP puedan tomar muestras al mismo tiempo, las fotografías tomadas con las cámaras duales deben tomarse al mismo tiempo. Una solución es darle al sensor un pin de señal de sincronización. Las señales de sincronización de las dos cámaras están conectadas y cada vez que se lee la imagen, se imprime una marca de tiempo en la imagen. El ISP utiliza la marca de tiempo para garantizar que las fotografías tomadas por las cámaras izquierda y derecha se tomen al mismo tiempo. y finalmente fusionado.

Es diferente de la grabación de películas en 3D normal. Las dos cámaras del teléfono móvil no pueden producir suficiente diferencia visual durante el proceso de toma de imágenes. Esto se debe a que la distancia entre las dos cámaras es diferente a la del ojo humano. Y para permitir que las personas obtengan efectos visuales 3D de manera más obvia. Por lo tanto, a menudo es necesario mejorar los algoritmos.

Dado que se puede medir la distancia, las cámaras duales posteriores no solo pueden realizar fotografías en 3D, sino también realizar modelado en 3D. En este momento, creo que la importancia de las cámaras duales será aún más importante.

Otras mejoras de efectos, como HDR y mejora de la resolución, estas funciones en realidad se pueden lograr con una sola cámara, pero las cámaras duales pueden mejorar el efecto, por lo que no las enumeraré una por una.

Resumen:

En la actualidad, estas funciones son las funciones más comunes de los teléfonos móviles con doble cámara. El desenfoque/reemplazo del fondo y los efectos de luz oscura brindan más efectos fotográficos a los usuarios; el zoom óptico nos permite experimentar la función de zoom de la cámara, pero personalmente, creo que lo más emocionante en el futuro es la función 3D;

La realidad virtual es tan popular este año, ¿de dónde viene el material de realidad virtual? Todavía depende de la optimización del algoritmo de doble cámara. Si los algoritmos de modelado y fotografía 3D maduran, las cámaras duales se volverán más populares.

La cadena ecológica de las cámaras duales

En el artículo anterior hablamos de la aplicación y principios de las cámaras duales. Ahora centrémonos en la cadena industrial de cámaras duales.

1. Proveedor de algoritmo de cámara dual

Dado que el algoritmo necesita cooperar con el ISP, el algoritmo y el ISP son complementarios entre sí si desea hacer un buen trabajo. el algoritmo, también debes tener un buen ISP.

Como principales proveedores de plataformas, Qualcomm/MediaTek cuentan con sus propios ISP, por lo que también han desarrollado sus propios algoritmos de doble cámara. En cuanto a la calidad de su algoritmo, aún debe ser probada por el mercado.

Como proveedores de sensores, Sony, Samsung y OV también están desarrollando activamente algoritmos de doble cámara y aún no han visto productos producidos en masa. Sin embargo, en la era de los teléfonos básicos, no existía el ISP. Cuando estos proveedores de sensores de cámara producen 2M/5M, todos tienen que utilizar sus propios ISP, por lo que estos proveedores tienen experiencia en el desarrollo de sus propios ISP. Por tanto, relativamente hablando, existe una experiencia relevante en el desarrollo de algoritmos de doble cámara.

Apple adquirió Linx el año pasado y también posee patentes y algoritmos multicámara. Su uso en sus propios modelos de doble cámara dependerá del iPhone 7 de este año. En teoría, Linx tiene suficientes algoritmos, por lo que Apple no tendrá que comprar una licencia IP para cámaras duales de un fabricante importante.

Además de estas plataformas, los proveedores de sensores y las marcas de teléfonos inteligentes desarrollarán sus propios algoritmos de doble cámara. Enumeraremos otros proveedores uno por uno:

Hua se fundó en Taiwán en 1996. Jing, desarrolla principalmente chips ISP independientes. Algunos teléfonos móviles, cámaras y automóviles de alta gama utilizan su ISP. Los teléfonos con doble cámara también tienen su propio ISP. La aplicación de distancia, el zoom óptico y la compensación en condiciones de poca luz han logrado logros.

Una empresa israelí. Las ventajas de su algoritmo están principalmente en el zoom óptico y la compensación de luz oscura. También se han realizado algunas investigaciones sobre la profundidad de campo. A juzgar por la publicidad en los medios, HTC tiene modelos que utilizan su algoritmo.

ArcSoft se fundó en 1994 y tiene su sede en Estados Unidos y cuenta con centros tecnológicos en Shanghai, Hangzhou y Nanjing. Los puntos fuertes de ArcSoft son el zoom óptico y la compensación de poca luz. La segunda imagen con zoom óptico y la imagen complementaria con poca luz del artículo anterior son de ArcSoft.

Shanghai Xingxin Micro es una empresa fundada en 2011. Se dedica principalmente a la investigación y el desarrollo de procesadores de imágenes. Sus productos se utilizan actualmente principalmente en el mercado de la automoción. Como una de las pocas empresas que desarrolla ISP independientes, actualmente también está desarrollando algoritmos de cámara dual e ISP. Una vez que el mercado de las cámaras duales se vuelva popular, X-Chip será un caballo oscuro con un gran potencial.

Acaban de salir las cámaras duales, por lo que en cuanto a algoritmos, cada empresa tiene sus propias ventajas y desventajas. Sin embargo, a juzgar por los efectos de los teléfonos móviles con doble cámara que se han lanzado hasta ahora, aún es necesario mejorar los algoritmos de cada empresa. Cuando las capacidades de varios algoritmos mejoren, las cámaras duales inevitablemente se convertirán en una característica estándar de los teléfonos móviles.

2. Proveedor de sensores de cámara dual

Dado que las cámaras duales necesitan sincronizar las marcas de tiempo al tomar fotografías, esto requiere que el sensor de la cámara tenga una señal de sincronización. Actualmente, los proveedores de sensores que tienen esta señal de sincronización incluyen a Sony, Samsung, OV y Gekewei. Por lo tanto, el sensor de doble cámara utiliza principalmente productos de estas empresas.

3. Proveedores de módulos de cámara dual

Actualmente existen muchos fabricantes de módulos que pueden producir cámaras duales, incluidos Lite-On, Sunny, Truly, Namuga, O-Film y Samsung Electromechanical. , Qiu Ti. Sin embargo, los que tienen experiencia en producción en masa son principalmente Lite-On, Sunny y Truly. Los modelos de Huawei utilizan principalmente módulos Lite-On y Sunny. O-Film y Samsung Electro-Mechanics, confiando en sus sólidas capacidades de fábrica, ahora también están ingresando agresivamente al campo de los módulos de doble cámara. Namuga mantiene buenas relaciones de comunicación con varias empresas de algoritmos y es proveedor de teléfonos móviles Samsung. También está desarrollando gradualmente sus esfuerzos en el campo de los módulos de doble cámara.

Sin embargo, diferentes funciones tienen diferentes requisitos para los módulos. Sigamos tomando las cuatro funciones mencionadas anteriormente como ejemplo:

Para aplicaciones a distancia, el enfoque general es utilizar cámaras grandes o pequeñas. Las especificaciones de cámara comunes son como 13M+2M, 13M+5M.

A través de estos dos métodos se puede calcular mejor la distancia entre el objeto fotografiado y la lente.

Para un módulo de doble cámara con zoom óptico, lo más importante es que las dos cámaras deben tener diferentes FOV, similar a la imagen a continuación:

Diferentes FOV producen diferentes enfoques puntos A través de algoritmos, se puede realizar la función de zoom óptico. ?

La mejora general de la luz oscura se toma a través de una cámara RGB a todo color + una cámara MONO en blanco y negro, como se muestra a continuación:

En términos de algoritmo, se toma principalmente a través de a la derecha La cámara en blanco y negro lee la cantidad de luz entrante para compensar el color de la cámara RGB de la izquierda.

Disparo y modelado 3D, este método es algo similar a los módulos relacionados con la distancia. Lo que pasa es que el 3D requiere una mayor precisión en las distancias. En este caso, es aún más necesario alejar la distancia entre las dos cámaras. Algunas incluso utilizan el posicionamiento auxiliar infrarrojo externo para lograr la medición de la distancia y, en última instancia, lograr la función de disparo y modelado en 3D.

Dificultades para fabricar módulos de doble cámara:

Generalmente hay dos formas de fabricar cámaras duales: una placa base o un soporte. Como se muestra en la siguiente imagen:

Si la placa base está instalada, se colocan dos unidades de sensor de cámara en la misma placa base y luego se saca un FPC de la placa base. Si se instala el soporte, como se muestra en la imagen de arriba, el sensor se fija a través del soporte. Cada sensor tiene su propio sustrato y su propio FPC.

***Ventajas de la placa base: Se pueden colocar dos sensores en la misma tableta y son resistentes a caídas.

***Desventajas del sustrato: bajo rendimiento, lo que se traduce en alto precio.

***Ventajas del stent: alto rendimiento y buen precio.

***Desventajas del soporte: debido a que son dos módulos de sensores independientes, es necesario calibrarlos mediante AA para colocarlos en el mismo plano, lo cual es difícil y tiene poca resistencia a las caídas.

En resumen, ambos métodos tienen sus propias ventajas y desventajas. Actualmente, solo Huawei utiliza el método del sustrato. Pero no importa de qué manera, el rendimiento actual es bajo, por lo que el costo sigue siendo alto.

El futuro de las cámaras duales

Si se mejora el algoritmo y la tasa de rendimiento del módulo, las cámaras duales todavía tienen muchas ventajas que vale la pena aprovechar.

Sin embargo, debido a los diferentes requisitos de ubicación de los módulos para diferentes funciones, es posible que las cámaras duales no puedan satisfacer los requisitos de todas las cámaras en la actualidad.

Cuando Google lanzó el Proyecto Tango, propuso de manera muy inteligente un concepto de tres cámaras: cuando se requiere medición de distancia y modelado 3D, se pueden usar dos cámaras lejanas para el zoom óptico para compensar la poca luz; puedes usar dos lentes que estén muy juntas. Incluso este sensor de profundidad se puede combinar con infrarrojos para una medición de distancia más precisa.

En cualquier caso, con la evolución de los algoritmos de doble cámara y el aumento de la demanda de realidad virtual, las cámaras están desempeñando un papel cada vez más importante. Es probable que los teléfonos móviles con cámaras duales, o incluso cámaras duales en la parte frontal + tres cámaras en la parte posterior, se vuelvan cada vez más comunes el próximo año.