HAL Id: hal-01130876
https://hal.archives-ouvertes.fr/hal-01130876
Submitted on 12 Mar 2015
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires
Extracción y Seguimiento de los Miembros Inferiores sin
Marcadores
Lorenza Henao, Antoine Manzanera, Eduardo Romero
To cite this version:
Lorenza Henao, Antoine Manzanera, Eduardo Romero. Extracción y Seguimiento de los Miembros Inferiores sin Marcadores. International Seminar on Medical Image Processing and Analysis, Dec 2010, Bogotá, Colombia. �hal-01130876�
Extracci´
on y Seguimiento de los Miembros Inferiores sin
Marcadores
Lorenza Henaoa,∗, Antoine Manzanerab, Eduardo Romeroa
aGrupo de Investigaci´on Bioingenium, Universidad Nacional de Colombia, Bogot´a,
Colombia
bENSTA - ParisTech / Electronics & Computer Science Lab, Paris, France
Resumen
Este art´ıculo presenta el desarrollo de un m´etodo que permite el an´alisis de la marcha sin marcadores. Los marcadores alteran el gesto natural del movimiento, son inestables y su ubicaci´on var´ıa entre experimentos suce-sivos. Este m´etodo captura el movimiento mediante una c´amara conven-cional, estima el fondo y segmenta la silueta de los miembros inferiores, y mediante una transformaci´on de distancia que esqueletoniza la silueta, de-tecta y sigue los puntos articulares que corresponden a la cadera, rodillas y tobillos. El m´etodo se evalu´o en diferentes videos, capturados en condiciones semicontroladas. Los resultados obtenidos se compararon con aquellos esti-mados por el m´etodo convencional, que utiliza marcadores, encontr´andose que las diferencias no eran significativas. Este m´etodo podr´ıa ser utilizado en aplicaciones cl´ınicas de an´alisis de marcha.
Palabras clave: Marcha sin marcadores, estimaci´on de fondo, carta de distancias, seguimiento.
1. Introducci´on
El an´alisis de marcha es la medici´on, descripci´on y evaluaci´on sistem´atica de los par´ametros cinem´aticos y cin´eticos que caracterizan el movimien-to humano. Esmovimien-tos aspecmovimien-tos se utilizan para obtener los patrones necesarios para realizar comparaciones y distinguir una marcha patol´ogica de una nor-mal [1]. Existen sistemas que utilizan marcadores o trajes para la captura
∗
Correspondencia: Autor 1. Direcci´on: Universidad Aut´onoma de Manizales, Antigua Estaci´on del Ferrocarril, Edificio Sacatin, Depto. de Electr´onica; tel: +6-8727211; correo electr´onico: lhenaomu@unal.edu.co,lohemu@autonoma.edu.co
de movimiento. Estas soluciones son normalmente m´as robustas que aque-llas que no requieren de marcadores porque soportan la variaci´on r´apida y compleja de posturas. Sin embargo, utilizar marcadores o trajes puede ser dif´ıcil de manejar, molesto e inc´omodo, introducen artefactos experimen-tales, alteran el gesto natural, la ubicaci´on de los marcadores var´ıa entre experimentos sucesivos, la superficie de la piel cambia cuando la persona est´a en movimiento, con lo cual se modifica la posici´on de los marcadores, puede presentarse oclusi´on y requieren que las medidas sean tomadas en un ambiente especialmente adecuado para las evaluaciones [2, 3, 4, 5].
En aplicaciones cl´ınicas y biomec´anicas se han desarrollado sistemas sin marcadores para estimaci´on de centros articulares, seguimiento de segmen-tos de los miembros inferiores y an´alisis de discapacidades del movimiento. La mayor´ıa de estas investigaciones utilizan modelos del cuerpo humano en dos o tres dimensiones, en las cuales se hace seguimiento de la informaci´on anat´omica y cinem´atica relevante o se realiza un ajuste de ´este a planos 2D de la imagen o a representaciones 3D [5]. Los modelos 3D normalmente con-stan de dos caracter´ısticas: la estructura del esqueleto (figura de segmentos) y el m´usculo que lo rodea (basada en superficie). La primera caracter´ıstica consiste en una colecci´on de segmentos y ´angulos articulares, con varios gra-dos de libertad en el lugar de la articulaci´on; la segunda utiliza pol´ıgonos, cilindros y vol´umenes en general para representar las diferentes formas de las partes del cuerpo [2]. Se han propuesto diferentes tipos de modelos: segmen-tos [6, 7], superquadrics 1 [2, 3, 8], cilindros, poliedros [9, 10], deformables [11], estrategia de identificaci´on de las partes del cuerpo humano (HBPIS - Human Body Part Identificaction Strategy) [12], algoritmo iterativo del punto m´as cercano (ICP - Iterative Closest Point) [5], cadenas cinem´aticas [4, 13], superelipsoides [14] y voxeles.
El principal problema tratado en esta investigaci´on consisti´o en obtener informaci´on del movimiento sin utilizar marcadores. En el desarrollo de la metodolog´ıa se hicieron diferentes capturas de la marcha en el plano sagital, posteriormente se obtuvo la silueta de los miembros inferiores mediante el m´etodo de estimaci´on de fondo Sigma-Delta y finalmente se hizo detecci´on y seguimiento de los segmentos articulares mediante transformaciones de distancia e implementaci´on del filtro Kalman. Este art´ıculo se encuentra or-ganizado como sigue: en la secci´on 2 se describe la metodolog´ıa utilizada, los
1
Superquadrics: familia de objetos tridimensionales param´etricos, ´utiles para el mode-lamiento geom´etrico y de sencilla representaci´on matem´atica.
resultados obtenidos y su an´alisis se encuentran en la secci´on 3 y finalmente las conclusiones se presentan en la secci´on 4.
2. M´etodo
La figura 1 resume el m´etodo utilizado. La primera parte (Subsec. 2.2) es la segmentaci´on del objeto en movimiento. En segundo lugar (Subsecs. 2.3, 2.4) est´a el par´ametro de detecci´on, el cual consiste en hacer corresponder la silueta con un conjunto de puntos representativos de las articulaciones de cadera, rodillas y tobillos, para obtener la informaci´on del movimiento de los miembros inferiores a lo largo de la secuencia de video.
Figura 1: Visi´on general de la metodolog´ıa aplicada.
2.1. Captura de Video
El proceso inicial consisti´o en realizar la captura del movimiento. Para tal fin se grabaron seis videos de 49 ciclos de marcha en el plano sagital, con una resoluci´on de 640 × 480 pixeles, a 30 cuadros por segundo, bajo condiciones de iluminaci´on semicontrolada con una c´amara fija firewire Unibrain Fire-i previamente calibrada.
2.2. Segmentaci´on
El siguiente paso fue obtener la silueta de los miembros inferiores. La segmentaci´on fue manejada con el m´etodo de estimaci´on de fondo est´atico Sigma-Delta, donde dada una secuencia de im´agenes It, se extrae una imagen
binaria St, en la cual los p´ıxeles x tales que S(x) = 0 forman la escena
est´atica o fondo, mientras que los p´ıxeles x tales que S(x) = 1 constituyen los objetos en movimiento o primer plano.
La estimaci´on Sigma-Delta s´olo proporciona una clasificaci´on de primer plano a nivel de pixel y no es suficiente para obtener las siluetas deseadas, raz´on por la cual esta puede combinarse con regularizaci´on espacio-temporal. En nuestro sistema, esto se hizo aplicando un filtro morfol´ogico, seguido por una reconstrucci´on geod´esica [15]. Como resultado se obtuvieron secuencias suficientemente largas de los objetos binarios de inter´es.
2.3. Transformaci´on Geod´esica y Esqueletizaci´on
Una vez obtenida la silueta de los miembros inferiores, una
transforma-ci´on geod´esica Euclidiana se aplic´o a la silueta segmentada D(p) = min{distM(p, q), q ∈
O} [16], generando un mapa de distancias cuyo objeto de inter´es es la silueta en s´ı.
Sean Stla imagen binaria y d la distancia sobre el plano discreto Z2. La
transformada de distancia de St se define como:
FSdt : Z2 −→ N
x 7→ m´ın
y {d(x, y); y ∈ Z 2, S
t(y) = 0}
El mapa de distancias se redujo a un grafo con el fin de obtener el esqueleto de los miembros inferiores. Este proceso se realiz´o aplicando un algoritmo de adelgazamiento, donde dada la imagen obtenida de la trans-formaci´on geod´esica Dty un elemento estructural compuesto B = (B1, B2),
el esqueleto se calcula a partir de [17]: Dt. B = Dt− (Dt∗ B).
2.4. Representaci´on y Seguimiento del Cuerpo Humano
Despu´es de obtenerse el esqueleto Etde la silueta, se hizo la detecci´on de
cinco puntos articulares correspondientes a cadera, rodillas y tobillos. Este proceso consisti´o primero en encontrar las posiciones de los valores m´ axi-mos del esqueleto, en segundo lugar se hizo una inicializaci´on de las posi-ciones articulares de inter´es, de acuerdo al protocolo VCM (Vicon Clinical Manager) [18]. Posteriormente se continu´o la detecci´on de los puntos articu-lares en cada cuadro del video, conservando en cierto margen las distancias antropom´etricas entre los segmentos cadera-rodillas y rodillas-tobillos y se-leccionando la medici´on de cada punto de acuerdo a la m´ınima distancia Euclidiana entre un conjunto de mediciones anteriores y cada uno de los puntos m´aximos calculados sobre el esqueleto.
Sea X = {xh, x1k, x2k, x1a, x2a} el conjunto de posiciones en Z2 de las
cin-co articulaciones del esqueleto. Sea µXt el conjunto de las cuatro distancias calculadas para ubicar los puntos a la imagen de acuerdo a X. La fun-ci´on de ajuste de los puntos con respecto a It se define como: Φ(µXt , St) =
P
z∈µX t F
d
It(z). La extracci´on de los puntos articulares se denota como el
siguiente problema de optimizaci´on: Xpuntost = arg m´axX∈Z2Φ(µXt , It).
Las posiciones (x, y) de cada punto articular y sus respectivas velocidades
dx dt y
dy
dt se utilizaron para seguir y modelar la din´amica de estos puntos
articulares, cuyas caracter´ısticas muestran que la velocidad entre cuadros del video es constante y que el movimiento es lineal.
3. Resultados Generales y Discusi´on
La estimaci´on Sigma-Delta se realiz´o tomando una escena de fondo inicial Mt−1, con base en la cual se segment´o la silueta de los miembros inferiores It,
mediante la estimaci´on de un fondo est´atico Mt. Despu´es se calcul´o el valor
absoluto de la diferencia entre el cuadro de entrada It y el fondo estimado
Mt.
En general se obtuvieron siluetas bien definidas de los miembros inferi-ores, aunque se presentaron inconvenientes relacionados con sombras proyec-tadas debido a que las condiciones de iluminaci´on fueron semicontroladas. Las figuras 2(izq.) y 3(a) muestran diferentes secuencias de video capturadas en un ambiente con condici´on de iluminaci´on no uniforme. Los resultados de la estimaci´on Sigma-Delta se muestran en las figuras 2(der.) y 3(b).
Figura 2: (izq.) Secuencia de caminata en el laboratorio de marcha, (der.) resultados de la estimaci´on de fondo Sigma-Delta.
(a) (b)
Figura 3: (a)Secuencia de caminata usando morral, capturada en un ambiente con ilumi-naci´on artificial, (b)resultado de la estimaci´on de fondo Sigma-Delta, 197 cuadros.
Las secuencias binarias obtenidas despu´es de la estimaci´on Sigma-Delta se utilizaron para calcular la carta de distancias (ver figura 4(a)). Posteri-ormente se llev´o a cabo un proceso de esqueletizaci´on con el cual se obtuvo la estructura del objeto (figura 4(b)).
En algunos cuadros del video, el esqueleto no muestra su correspondencia con los ejes medios de la silueta, sin embargo este tipo de modelo permite tener una estimaci´on de los centros articulares. El c´alculo del esqueleto de la silueta de los miembros inferiores fue la base para el proceso de detecci´on de los cinco puntos articulares de cadera, rodillas y tobillos. Estos puntos se obtuvieron calculando los valores m´aximos del esqueleto y ajustando sobre ´este unas posiciones iniciales (mediciones). Las mediciones fueron ajustadas
Figura 4: Carta de distancias y esqueleto de los miembros inferiores. (sup.) Carta de distancias, (inf.) esqueleto.
durante la secuencia de marcha con ayuda de la predicci´on de cada cuadro anterior del video realizada por el filtro Kalman (estimaciones) (figura 5).
Figura 5: Detecci´on y seguimiento de las articulaciones de cadera, rodillas y tobillos en medio ciclo de marcha (18 cuadros de video).
En la figura 6 se observan los resultados de aplicar algunos m´etodos de detecci´on de objetos. Cada resultado se contrast´o con una imagen de refer-encia segmentada manualmente foreground truth con el fin de demostrar que el m´etodo de estimaci´on de fondo Sigma-Delta tiene un mejor desempe˜no. El an´alisis se hizo utilizando el coeficiente de similitud de Jaccard, el cual es un estad´ıstico utilizado para comparar la similitud y diversidad de los grupos de una muestra [19]. Los rangos de este coeficiente se encuentran entre 0 y 1, donde el 1 significa en este caso que las im´agenes son completamente semejantes entre s´ı (ver tabla 1).
(a) (b) (c) (d)
Figura 6: Comparaci´on entre algunos m´etodos de detecci´on de objeto. (a)Imagen de refer-encia, (b)resultado de la detecci´on utilizando media adaptativa. (c)M´etodo de diferencia de cuadros, (d)resultado de la estimaci´on de fondo Sigma-Delta.
Cuadro 1: Coeficiente de similitud de Jaccard de cada m´etodo.
M´etodo Coeficiente Media adaptativa 0 Diferencia de cuadros 0 Sigma-Delta 0,02
La postura de los miembros inferiores se estim´o manualmente en cada cuadro del video y se obtuvieron autom´aticamente los desplazamientos an-gulares alrededor de la cadera y las rodillas. Las figuras 7(a) y 7(b) muestran las curvas de estos desplazamientos en un ciclo de marcha. Los resultados evidencian que en el caso de la cadera, los desplazamientos obtenidos con el m´etodo propuesto se asemejan al m´etodo que utiliza marcadores, a las mar-caciones realizadas por un especialista y a los datos biomec´anicos te´oricos encontrados en [20]. Solamente entre el 20 %-30 % y el 60 %-70 % del ciclo de marcha se presenta un comportamiento diferente debido a que en esos momentos se est´a realizando la fase de balanceo donde se evidencian los in-convenientes de la oclusi´on de las rodillas. En cuanto a los desplazamientos angulares de la rodilla, se evidencian algunos comportamientos diferentes a la tendencia encontrada en la curva te´orica debido a que adem´as de in-fluir la oclusi´on de las articulaciones de rodillas, tambi´en afecta la oclusi´on presentada en los puntos articulares del tobillo. Sin embargo, los resulta-dos obteniresulta-dos son alentadores y demuestran que el m´etodo sin marcadores podr´ıa ser utilizado en aplicaciones cl´ınicas de an´alisis de marcha.
(a) (b)
Figura 7: Desplazamientos angulares. (a)Desplazamiento angular de la cadera durante un ciclo de marcha, (b)desplazamiento angular de la rodilla durante un ciclo de marcha.
Las curvas de los desplazamientos angulares de cadera y rodilla se analizaron mediante estimadores de la varianza entre las curvas te´oricas (observaci´on) y aquellas obtenidas con marcadores, sin marcadores y con la medici´on re-alizada por un especialista (estimaci´on). Se calcul´o la varianza muestreada, s2 y el error cuadr´atico medio, MSE (tablas 2 y 3):
Cuadro 2: Varianza muestreada desplazamientos angulares de cadera y rodilla.
Mediciones Estimaciones Especialista s2cadera 109.27 106.42 108.93 s2rodilla 379.77 376.02 375.30
Cuadro 3: Error cuadr´atico medio desplazamientos angulares de cadera y rodilla.
Mediciones Estimaciones Especialista MSE cadera 122.45 223.64 28.02 MSE rodilla 199.65 698.93 31.99
En la tabla 2 los resultados muestran que en general el m´etodo desarrolla-do en esta investigaci´on presenta un comportamiento similar al encontrado en la teor´ıa y al que utiliza marcadores. En el caso de la tabla 3 se real-iza una comparaci´on punto a punto entre los datos te´oricos (observaci´on) y aquellos obtenidos con marcadores, sin marcadores y con el criterio de un especialista (estimaci´on). El desplazamiento angular de cadera calculado con el m´etodo sin marcadores es bastante similar al obtenido con el m´etodo con marcadores. En cuanto al desplazamiento angular de rodilla se evidencia una diferencia notable entre los m´etodos con y sin marcadores. Este com-portamiento se presenta debido a las oclusiones entre rodillas y tobillos que son evidentes en las fases de balanceo del ciclo de marcha.
4. Conclusiones y Trabajo Futuro
Se present´o un m´etodo para el an´alisis de marcha sin marcadores. La silueta de los miembros inferiores se obtuvo con el m´etodo de estimaci´on de fondo Sigma-Delta (Σ − ∆), el cual permite realizar una detecci´on precisa de los objetos en movimiento. El seguimiento de los miembros inferiores a lo largo de la secuencia, permiti´o obtener los desplazamientos angulares de la cadera y la rodilla. Las curvas que describen estos desplazamientos se compararon con aquellas obtenidas utilizando el m´etodo de marcadores y con las marcaciones realizadas por un especialista, encontrando que en el caso de la cadera, el m´etodo desarrollado se asemeja a las referencias establecidas, mientras que en el caso de la rodilla, se presentan algunos comportamientos diferentes en las fases de balanceo (20 %-30 % y 60 %-70 %) del ciclo de marcha, debido a la oclusi´on de las rodillas y los tobillos. La variabilidad en los resultados tambi´en se ve influenciada en el caso de los marcadores por el tipo de protocolo utilizado y en cuanto a las marcaciones manuales, por el grado de conocimiento del experto. En general, este m´etodo arroja resultados muy alentadores y podr´ıa ser utilizado en aplicaciones m´edicas del an´alisis de marcha.
El m´etodo desarrollado conduce a futuras investigaciones en las cuales se integre este an´alisis monocular a un sistema multi-vista para obtener una completa representaci´on 3D del cuerpo humano, de esta manera evitar las dificultades que se presentan durante la oclusi´on y obtener informaci´on mucho m´as certera de las posiciones articulares de caderas, rodillas y tobillos. Referencias
[1] R. Davis, Clinical gait analysis (1988) 35–40.
[2] D. M. Gavrila, L. S. Davis (Eds.), 3D Model Based Tracking of Humans in Action: a Multi View Approach, IEEE, 1996.
[3] E. C. F. Marzani, L. Legrand, A 3d marker free system for the analysis of movement disabilities an application to the legs, IEEE Transactions on Information Technology in Biomedicine 5 (1) (2001) 18–26.
[4] J. Saboune, F. Charpillet (Eds.), Using Interval Particle Filtering for Marker less 3D Human Motion Capture. Proceedings of the 17th IEEE International Conference on Tools with Artificial Intelligence (IC-TAI05), IEEE Computer Society, 2005.
[5] S. C. L. Mundermann, T. P. Andriacchi (Eds.), Accurately Measuring Human Movement Using Articulated ICP with Soft-joint Constraints and a Repository of Articulated Models, Computer Vision and Pattern Recognition, 2007. CVPR07. IEEE Conference on, 2007.
[6] T. Persson, A marker-free method for tracking human lower limb seg-ments based on model matching, International Journal of Bio-Medical Computing 41 (1996) 87–97.
[7] J. C. M. Goffredo, R.D. Seely, M. ˜Nixon, Markerless view indepen-dent gait analysis with self-camera calibration, IEEE (978-1-4244-2154-1/08/).
[8] A. Sundaresan, R. Chellappa (Eds.), Markerless Motion Capture using Multiple Cameras. Proceedings of the Computer Vision for Interactive and Intelligent Environment (CVIIE05), IEEE Computer Society, 2005. [9] J. D. D. Meyer, H. ˜Niemann (Eds.), Model Based Extraction of
Articu-lated Objects in Image Sequences for Gait Analysis, IEEE, 1997.
[10] L. W. C. Wan, B. Yuan, Z. Miao (Eds.), Model-Based Markerless Hu-man Body Motion Capture Using Active Contour. Signal Processing, 2008. ICSP 2008. 9th International Conference on, IEEE, 2008.
[11] R. H. H. L. Y. Lu, L. Wang, C. Shen, Multi-view human motion cap-ture with an improved deformation skin model, IEEE Computer Soci-ety (doi:10.1109/DICTA.2008.14).
[12] I. Kakadiaris, D. Metaxas, Model based estimation of 3d human mo-tion, IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (12) (2000) 1453–1459.
[13] L. M. S. Corazza, E. Gambaretto, T. Andriacchi, A marker-free method for tracking human lower limb segments based on model matching, Biomedical Engineering, IEEE Transactions on: Accepted for future publication.
[14] R. Kehl, L. V. Gool, Markerless tracking of complex human motions from multiple views, Computer Vision and Image Understanding 104 (2006) 190–209.
[15] A. Manzanera, Sigma-delta background subtraction and the zipf law, Pattern Recognition Letters 28 (3) (2007) 320–328.
[16] O. Cuisenaire, Distance transformations: Fast algorithms and applica-tions to medical image processing, Ph.D. thesis, Universite catholique de Louvain (UCL) (1999).
[17] G. P. y J.M. de la Cruz, Visi´on por Computador, Alfaomega, 2002. [18] R. Dorociak, T. Cuddeford, Determining 3-d system accuracy for the
vicon 370 system 3 (2).
[19] R. ˜Nazirah, M. Daud (Eds.), A Function Principle Approach to Jac-card Ranking Fuzzy Numbers, 2009 International Conference of Soft Computing and Pattern Recognition. IEEE Computer Society, 2009. [20] M. ˜N. y V.H. Frankel, Biomec´anica B´asica del Sistema
