Acercarse a la fusión de datos de sensores múltiples

Question

El problema

Estoy tratando de estimar el 3D pose de una persona a la que se observa con una sola cámara y 5 usado IMUs (extremidades extremidades y la parte superior de la espalda). Los cuadros de la cámara se convierten a la forma característica basada en vectores, y el IMUs cada proporcionan 4D de cuaterniones representaciones de su orientación.

He recuperado el 3D plantean el uso de cada modalidad en el aprendizaje de una asignación de la función de entrada de espacio para la salida del espacio de la pose. Ahora quiero obtener mejores resultados mediante la combinación de ambas modalidades de alguna manera a través de la fusión de sensores.

He probado añadiendo la función de los vectores de cada modalidad y también usando un promedio ponderado de sus salidas. Estos son muy simples enfoques, y sólo dio lugar a mejoras muy pequeñas, en promedio.

Pregunta

¿Qué otros enfoques puedo intentar combinar estos dos inconmensurable fuentes de datos?

Es allí cualquier preprocesamiento sobre las características que debe de hacer?

Nota: Mi preferencia es seguir utilizando un aprendizaje basado en el enfoque, si es posible. (es decir, no quiero explícitamente el modelo de la física/cinemática/etc)

Answer 1

El filtro de Kalman se utiliza generalmente para la fusión de datos; ¡Estás en un gran trabajo, aunque! Modelado el sistema ahorrará mucho tiempo.

Se utilizó un filtro de Kalman donde solía trabajar para la gente de seguimiento con imágenes de matriz de sensores IR. Cerca de dos años de hombre de trabajo entraron en el proyecto.

Answer 2

Sólo algunas ideas, no seguro de lo útil que son:

Si desea utilizar un enfoque de aprendizaje automático, el reto es encontrar el justo criterio.

La más fácil trabajar con ella, es la tierra la verdad de datos, pero supongo que usted no tiene que.

La otra manera genérica para el aprendizaje de máquina mediante un formulario de uniformidad de criterio. Una forma en que puedo pensar es predecir todos los parámetros medidos (en un momento dado) de un conjunto más pequeño (menor dimensión) de las variables. Tanto la transformación de la entrada a la baja de dimensiones variables (matriz o función con parámetros) y los valores para el conjunto más pequeño de variables que puede ser aprendido, por ejemplo, de un genérico no-lineal el método de optimización. Usted sólo tendrá que definir el criterio.

Si que funciona, al menos algunos de fusión de sensores de trabajo. Aún así, tendrías que hacer una transformación de lo aprendido, de dimensiones inferiores muestras a la salida deseada variables.

En lugar de, o en combinación con, utilizando el menor número de variables, también se podría aplicar smoothnes en el tiempo del conjunto de aprendido variables. Debería ser posible incluir esto en el método de aprendizaje por encima.

Si desea que el aprendido que las variables tienen un significado, que puede incluir una multa en el criterio para obligarlos a ser similar a la entrada de muestras.

Acerca de los métodos de aprendizaje: La forma más fácil para empezar es definir un criterio, y optimizar la utilización de un estándar-no lineal optimizer (por ejemplo, matlab o python, scipy paquete)