Estimación de la pose humana: análisis del algoritmo OpenPose

?La estimación de la pose humana es un problema muy básico en visión por ordenador. A juzgar por el nombre, puede entenderse como una estimación de la posición de la postura del "cuerpo humano" (puntos clave, como la cabeza, la mano izquierda, el pie derecho, etc.).

?La estimación de la postura humana se puede dividir en dos ideas,

(1) "De arriba hacia abajo" se refiere a detectar el área del cuerpo humano y luego detectar los puntos clave del cuerpo humano. en la zona.

?Las deficiencias del método "de abajo hacia arriba" existente son: (1) No utiliza la información previa del contexto global, es decir, la información del punto clave del cuerpo de otras personas en la imagen (; 2) Cuando los puntos clave corresponden a Cuando hay diferentes caracteres individuales, la complejidad del algoritmo es demasiado alta.

?Punto de mejora: propusimos "Campos de afinidad parcial (PAF)", donde cada píxel es un vector bidimensional utilizado para representar información de posición y orientación. En función de las uniones detectadas y las áreas relacionadas con las uniones, utilizando un algoritmo de inferencia codicioso, estas uniones se pueden asignar rápidamente a diferentes individuos de carácter.

La función de pérdida es el punto clave más importante para garantizar la convergencia de la red, por lo que el autor utiliza la pérdida L2 para ambas ramas. Durante el entrenamiento, se genera una pérdida en cada etapa para evitar que los gradientes desaparezcan; al predecir, solo se utiliza la salida de la última capa. La fórmula se expresa de la siguiente manera:

Entre ellos, representa el mapa de etiquetas de la rama 1, también llamado mapa de calor, y el mapa de etiquetas de la rama 2, también llamado mapa vectorial. Además, considerando que algunos conjuntos de datos de entrenamiento solo etiquetan los puntos de unión de algunos caracteres en la imagen, la función de pérdida aplica una operación de ponderación espacial. W representa la matriz de máscara binaria. Cuando falta la etiqueta en la posición p, su valor es 0. , De lo contrario es 1. Obviamente, para los puntos de conexión de caracteres no marcados, así como los puntos de conexión de caracteres marcados y los puntos de no conexión, los puntos de conexión de caracteres no marcados no afectarán el proceso de aprendizaje del modelo. La función objetivo de optimización de toda la arquitectura de la red CNN es la siguiente: < / p>

? De hecho, se trata de utilizar un modelo de distribución gaussiana bidimensional para encontrar el mapa de calor de la j-ésima parte del cuerpo humano en una imagen. La k-ésima persona representa información de posición, entonces hay:

? Indica el uso de un campo de afinidad parcial (PAF) para modelar el área del hueso. Para cada píxel en el área del hueso, se utiliza un vector bidimensional. para representar la información de posición y orientación, donde la orientación se refiere es la dirección de conexión del par de puntos de articulación correspondiente del hueso actual, correspondiente al diagrama vectorial. Tome el área del hueso en la figura siguiente como ejemplo

. Después del proceso anterior, hemos obtenido el mapa de coordenadas de cada punto de articulación: el mapa de calor y el mapa vectorial conectado al par de articulaciones. Ahora bien, ¿cómo razonar las etapas para conectar racionalmente estas articulaciones en un segmento de hueso y ensamblarlas en un ser humano?

?Empalme de articulaciones: Para dos posiciones de articulación cualesquiera y la correlación del par de puntos óseos se caracteriza calculando la integral lineal del PAF, es decir, la confianza del par de puntos óseos, expresada por la siguiente fórmula. Para calcular rápidamente la integral, generalmente se utiliza el método de muestreo uniforme para aproximar la similitud de dos uniones. Detección múltiple: dado que el número de personas en la imagen es incierto y va acompañado de problemas como oclusión y deformación, solo el uso del método anterior para calcular la similitud de los pares de articulaciones solo puede garantizar la optimización local. Por lo tanto, el autor adopta la idea de. ​​Relajación codiciosa para generar el mejor emparejamiento global. Las operaciones específicas son las siguientes:

(1) Se conocen los mapas de calor de diferentes articulaciones, es decir, los conjuntos de puntos de una determinada articulación de diferentes personas

(2) Ahora necesitamos realizar diferentes conjuntos de puntos. Una combinación única, como un conjunto de puntos que representa un conjunto de puntos para el codo y un conjunto de puntos para la muñeca, debe haber una coincidencia única entre los puntos en los dos conjuntos de puntos