Les procédures
PROGRAM LIRE_PERMUT ; USES WINCRT;
III. Problème corrigé
O primeiro conjunto de testes, efectuados com o intuito de averiguar o sucesso do detector foi desenvolvido no âmbito do presente estudo, foi realizado com recurso a uma base de dados do Instituto de Tecnologia da Califórnia, à qual foi requisitado acesso.
A base de dados contém 447 imagens de 27 pessoas diferentes da face frontal sobre diferentes condições de luminosidade, complexidade de background e diferentes expressões.
Reconhecimento de expressões faciais 55 Para o efeito pretendido foi desenvolvido um interface que demonstra a capacidade de detecção da face numa imagem da base de dados. Na figura 27 está ilustrada a interface desenvolvida, sendo a partir dela carregar imagens contendo faces humanas, detectar a zona facial e limitar, numa outra imagem, apenas a zona do rosto.
Efectuados estes testes, foi possível obter métricas representativas da eficácia do detector. Os valores finais destas métricas são apresentados na tabela 3
Imagens Detectadas Numero Total de Imagens % Acerto
363 447 81
Tabela 3: Resultados obtidos
Reconhecimento de expressões faciais 56 0 50 100 faces não detectadas Faces Detectadas
Percentagem
PercentagemDetecção
Imagens Detectadas Não detectou a facePercentagem
Face Face/ Background 0 50 100 Face/ Background FacePercentagem
PercentagemEstes resultados ilustram que este método de detecção é eficiente . No entanto apesar da elevada percentagem de acerto, uma percentagem desse valor não identifica exclusivamente a face, mantendo também alguns aspectos do background. Tais valores podem ser verificados na figura
Ilustração 28: Resultados experimentais
Reconhecimento de expressões faciais 57 4.2 Avaliação dos eigenfaces
O primeiro conjunto de testes, efectuados com o intuito de averiguar o sucesso do detector foi desenvolvido no âmbito do presente estudo, foi realizado com recurso a duas bases de dados. Uma das bases de dados é da Universidade de Kyushu, à qual foi requisitado acesso.
A base de dados contém 213 imagens de 10 pessoas diferentes num ambiente controlado e com diferentes expressões faciais. A base de dados foi planeada e criada por Miyuki Kamachi, Michael Lyons e Jiro Gyoba. As fotos foram tiradas na Universidade de Kyushu, Departamento de Psicologia
Para obter resultados quantitativos foi efectuado 10 testes diferentes, cada um deles contendo 10 imagens, uma imagem de cada uma das pessoas. Os valores obtidos estão apresentados na tabela 4
N de imagens correctas Numero total de imagens % Acerto
1 8 10 80 2 7 10 70 3 7 10 70 4 8 10 80 5 8 10 80 6 7 10 70 7 9 10 90 8 8 10 80 9 7 10 70 10 7 10 70 Média 76
Reconhecimento de expressões faciais 58
Percentagem
Reconheciment o Não reconhecimento 0 50 100 N Reconheciment o Reconheciment oPercentagem
PercentagemA outra base de dados utilizada foi a base de dados do Instituto de Tecnologia da Califórnia, à qual foi requisitado acesso.
A base de dados contém 447 imagens de 27 pessoas diferentes da face frontal sobre diferentes condições de luminosidade, complexidade de background e diferentes expressões.
Para obter resultados quantitativos foi efectuado 10 testes diferentes, cada um deles contendo 27 imagens, uma imagem de cada uma das pessoas. Os valores obtidos estão apresentados na tabela 5
Teste N de imagens
correctas
Numero total de imagens % Acerto
1 22 27 81.4 2 20 27 74.1 3 22 27 81.4 4 23 27 85.18 5 21 27 77.78 6 20 27 74.1 7 21 27 77.78 8 19 27 70.38 9 22 27 81.4 10 20 27 74.1 Média 77.8
Tabela 5: Resultados experimentais
Reconhecimento de expressões faciais 59 0 50 100 N Reconheciment o Reconheciment o
Percentagem
PercentagemPercentagem
Reconheciment o Não reconhecimentoReconhecimento de expressões faciais 60
Capitulo V
5. ConclusãoA motivação principal para o presente estudo prendeu-se essencialmente com o desenvolvimento de um método de interacção que permitisse o reconhecimento e classificação de expressões faciais com o objectivo de criar um novo canal de interacção entre o utilizador e o sistema computacional.
Para tal, foi necessário encontrar uma solução de reconhecimento e classificação facial que se traduzisse numa taxa de acerto significativa. Esta necessidade traduziu-se na procura de algoritmos suficientemente leves, de um ponto de vista computacional, mas que ainda assim permitissem resultados satisfatórios.
Neste contexto, foi desenvolvido um conjunto de algoritmos capazes de fazer processamento de imagens e do reconhecimento facial.
Deste métodos foram verificados através de um conjunto de testes com recurso a uma base de dados de imagens, que permitiram através de conhecidas métricas avaliar sobre ao desempenho deste método.
Reconhecimento de expressões faciais 61 5.1 Conclusões finais e Discussão
Este estudo explora técnicas e métodos de detecção do reconhecimento de expressões faciais em tempo real.
Neste sentido foram desenvolvidos um conjunto de algoritmos, cujo desempenho foi testado com recurso a diversas bases de imagens. Foi desenvolvido um módulo de detecção facial e um módulo de reconhecimento, sujeito a um conjunto de testes, pra verificar a eficácia destes mesmos módulos
Relativamente aos testes efectuados ao detector facial, obteve-se uma taxa de acerto de 81% para a detecção facial. Apesar do bom desempenho deste algoritmo, 17% das imagens que detectaram a face também detectaram alguns elementos de background.
Isto deve-se ao facto do algoritmo que detecta o tom de pele também detecta inadvertidamente outras partes, confundindo-as como sendo pele. Tal se deve à circunstância das imagens processadas terem sido tiradas num ambiente arbitrário, sem qualquer controlo sobre as condições de luminosidade e com backgrounds diferenciados.
A um nível futuro seria interessante melhorar este algoritmo por forma a eliminar esses “resíduos” da imagem processada.
No caso dos eigenfaces, como foi referido foi utilizado duas base de dados diferentes, por forma a melhor evidenciar a sua eficácia e a dependência desse valor relativamente as imagens de entrada.
Os valores obtidos para a primeira base de dados foram de 76% de sucesso e para a segunda base de dados foi de 77.8% de sucesso. Como se pode verificar pela proximidade dos valores
Reconhecimento de expressões faciais 62 da taxa de sucesso, e pelo que se entende pelo principio de componentes principais, a eficácia de detecção ou reconhecimento não é dependente das imagens de entrada.
No futuro seria interessante melhorar este algoritmo de maneira a obter melhores resultados de reconhecimento, através da utilização de sub-imagens da imagem facial.
Um dos paços possíveis nesta direcção, seria identificar regiões de face, como a região-olho, região-nariz e região-boca. Recorrendo de novo aos algoritmos utilizados e às suas rotinas computacionais já implementadas, executar o reconhecimento em separado destas partes específicas da face.
Reconhecimento de expressões faciais 63
Capitulo VI
6.Bibliografia[1] V. Bruce. Recognizing Faces. Lawrence Erlbaum Associates, London, 1988.
[2] C. Huang and Y. Huang. Facial expression recognition using model-based feature extraction and action parameters classification. In J. Visual Comm. and Image representation, volume 8, pages 278–290, 1997
[3] M. Pantic and L.J.M. Rothkrantz. Expert system for automatic analysis of facial expression. In Image and vision computing J., volume 18, pages 881–905, 2000.
[4] S. Kimura and M. Yachida. Facial expression recognition and its degree estimation. In Proc. Computer Vision and Pattern Recognition, pages 295–300, 1997.
[5] H. Kobayashi, F. Hara, “Facial Interaction between Animated 3D Face Robot and Human Beings”, Proc. Int’l Conf. Systems, Man, Cybernetics, pp.3,732-3,737, 1997
[6] E. Saber and A. Tekalp. Frontal-view face detection and facial feature extraction using color, shape and symmetry based cost functions. In Pattern Recognition Letters, volume 19, pages 669–680, 1998.
[7] V. Vezhnevets. Method for localization of human faces in color-based face detectors and trackers. In Proc. Third International Conference on Digital Information Processing And Control In Extreme Situations, 2002.
[8] K. Sung and T. Poggio. Example-based learning for view-based human face detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(1):39–51, 1998.
Reconhecimento de expressões faciais 64 [9] H. Rowley, S. Baluja, and T. Kanade. Neural network-based face detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(1):23–38, 1998.
[10] T. Pham, M. Worring, and A. Smeulders. Face detection by aggregated Bayesian network classifiers. Lecture Notes in Computer Science, 2123:249–262, 2001.
[11] P. Viola and M. Jones. Robust real-time object detection. Technical report, University of Cambridge, 2001.
[12] G. Littlewort, M. Bartlett, C. Fasel, T. Kanda, H. Ishiguro, and J. Movellan. Towards social robots: Automatic evaluation of human-robot interaction by face detection and expression classification. In Proc. Advances in neural information processing systems, MIT Press., volume 16, 2000.
[13] C. Zhan, W. Li, P. Ogunbona, and F. Safaei. Facial expression recognition for multiplayer online games. In Proc. of the 3rd Australasian Conf. on Interactive Entertainment, volume 207, pages 452–458, 2006.
[14] J. Cao and C. Tong. Facial expression recognition based on lbp-ehmm. In Congress on Image and Signal Processing, 2008. CISP ’08, pages 371–375. IEEE, 2008.
[15] H. Lu, Y. Huang, Y. Chen, and D. Yang. Real-time facial expression recognition based on pixel pattern- based texture feature. In Proc. Electronic Letters, pages 916–918, 2007.
[16] A. Pentland, B. Moghaddam, and T. Starner. View-based and modular eigenspaces for face recognition. In Proc. Computer Vision and Pattern Recognition, pages 84–91, 1994.
[17] H. Hong, H. Neven, and C. Von der Malsburg. Online facial expression recognition based on personalized galleries. In Proc. International Conf. Automation Face and Gesture Recognition, pages 354–359, 1998.
Reconhecimento de expressões faciais 65 [18] D. Terzopoulos and K. Waters. Analysis and synthesis of facial image sequences using physical and anatomical models. In IEEE Trans. Pattern Analysis and Machine Intelligence, volume 15, pages 569–579, 1993.
[19] M. Black and Y. Yacoob. Recognizing facial expressions in image sequences using local parametrized models of image motion. In International J. Computer Vision, volume 25, pages 23– 48, 1997.
[20] V. Vezhnevets, S. Soldatov, A. Degtiareva, and I. Park. Automatic extraction of frontal facial features. In Proceedings of the Sixth Asian Conference on Computer Vision, 2004.
[21] J. Bassili. Facial motion in the perception of faces and of emotional expression. In J. Experimental Psychology, volume 4, pages 373–379, 1978.
[22] C. Padgett and G.W. Cottrell. Representing face images for emotion classification. In Proc. Conf. Advances in Neural Information Processing Systems, pages 894–900, 1996.
[23] J. Yang, D. Zhang, A. Frangi, and J. Yang. Two-dimensional pca: a new approach to appearance-based face representation and recognition. In Proc. IEEE Trans. Patterns Anal. Machine Intelligence, volume 26, pages 131–137, 2004.
[24] U. Turhal, A. Duysak, and M. Gulmezoglu. A two stage algorithm for face recognition: 2dpca and within-class scatter minimization. In Proc. Signal Processing, Pattern Recognition, and Applications, 2007.
[25] K. Lam and H. Yan. An analytic-to-holistic approach for face recognition based on a single frontal view. In IEEE Trans. Pattern analysis and machine intelligence, volume 20, pages 673– 686, 1998.
Reconhecimento de expressões faciais 66 [26] M. Yoneyama, Y. Iwano, A. Ohtake, and K. Shirai. Facial expressions recognition using discreet hopfield neural networks. In Proc. International Conf. Information Processing, volume 3, pages 117–120, 1997.
[27] M. Malciu and F. Preteux. Tracking facial features in video sequences using a deformable model based approach. In Proceedings of the SPIE, volume 4121, pages 51–62, 2000.
[28] J. Cohn, A. Zlochower, J. Lien, and T. Kanade. Feature-point tracking by optical flow discriminates subtle differences in facial expression. In Proc. International Conf. Automatic Face and Gesture Recognition, pages 396–401, 1998.
[30] I. Essa and A. Pentland. Coding, analysis interpretation, recognition of facial expressions. In IEEE Trans. Pattern Analysis and Machine Intelligence, volume 19, pages 757–763, July 1997. [31] S. Kimura and M. Yachida. Facial expression recognition and its degree estimation. In Proc. Computer Vision and Pattern Recognition, pages 295–300, 1997.
[32] P. Ekman and W. Friesen. Unmasking the Face. Prentice-Hall, 1975.
[33] P. Ekman and W. Friesen. Facial Action Coding System (FACS): Manual. Palo Alto: Consulting Psychologists Press, 1978.
[34] G. Donato, M. Bartlett, J. Hager, P. Ekman, and T. Sejnowski. Classifying facial actions. IEEE Trans. Pattern Anal. Mach. Intell., 21(10):974–989, 1999.
[35] S. Kaiser, T. Wehrle, and S. Schmidt. Emotional episodes, facial expressions, and reported feelings in human-computer interactions. In Proceedings of the Xth Conference of the International Society for Research on Emotions, pages 82–86, 1998.
Reconhecimento de expressões faciais 67 [37] G.J. Edwards, T.F. Cootes, and C.J. Taylor. Face recognition using active appearance models. In Proc. European Conf. Computer Vision, volume 2, pages 581–695, 1998.
[38] M. Lyons, J. Budynek, and S. Akamatsu. Automatic classification of single facial images. In IEEE Trans. Pattern Analysis and Machine Intelligence, volume 21, pages 1357–1362, 1999. [39] L. Personnaz, I. Guyon, and G. Dreyfus. Collective computational properties of neural networks: New learning mechanisms. Phys. Rev. A, 34(5):4217–4228, Nov 1986.
[40] Z. Zhang, M. Lyons, M. Schuster, and S. Akamatsu. Comparrison between geometry-based and gabor wavelets-based facial expression recognition using multi-layer perceptron. In Proc. International Conf. Automatic face and gesture recognition, pages 454–459, 1998.
[41] J. Zhao and G. Kearney. Classifying facial emotions by backpropagation neural networks with fuzzy inputs. In Proc. Conf. Neural information processing, volume 1, pages 454–457, 1996. [42] I. Stathopoulou and G. Tsihrintzis. An improved neural-network-based face detection and facial expression classification system. In SMC (1), pages 666–671, 2004.
[43] R. Feitosa, M. Vellasco, D. Oliveira, D. Andrade, and S. Maffra. Facial expression classification using rbf and back-propagation neural networks. In Proc. International Conference on ISAS, pages 73–77, 2000.
[44] A. Khanam, M. Shafiq, and M. Akram. Fuzzy based facial expression recognition. In Proc. Congress on Image and Signal Processing (CISP), IEEE, pages 598–602, 2008.
[45] P. Eisert and B. Girod. Facial expression analysis for model-based coding of video sequences. In Proc. Picture Coding Symposium, pages 33–38, 1997.
Reconhecimento de expressões faciais 68 [46] T. Otsuka and J. Ohya. Spotting segments displaying facial expression from image sequences using hmm. In Proc. International Conf. Automatic Face and Gesture Recognition, pages 442–447, 1998.
[47] M. Wang, Y. Iwai, and M. Yachida. Expression recognition from time-sequential facial images by use of expression change model. In Proc. International Conf. Automatic face and gesture recognition, pages 324–329, 1998.
[48] F. Hülsken, F. Wallhoff, and G. Rigoll. Facial expression recognition with pseudo-3d hidden markov models. In Proceedings of the 23rd DAGM-Symposium on Pattern Recognition, pages 291–297. Springer-Verlag, 2001.
[49] I. Cohen, N. Sebe, F. Cozman, and T. Huang. Semi-supervised learning for facial expression recognition. In MIR ’03: Proceedings of the 5th ACM SIGMM international workshop on Multimedia information retrieval, pages 17–22, New York, NY, USA, 2003. ACM Press.
[50] H. Tao and T. Huang. Connected vibrations: A modal analysis approach for non-rigid motion tracking. In Proc. IEEE Comput. Vision and Pattern Recognition, 1998.
[51] M. Bartlett, G. Littlewort, B. Braathen, T. Sejnowski, and J. Movellan. A prototype for automatic recognition of spontaneous facial actions. In Advances in Neural Information Processing Systems, volume 15, pages 1271–1278. MIT Press, 2003.
[52] I. Kotsia, N. Nikolaidis, and I. Pitas. Facial expression recognition in videos using a novel multi-class support vector machines variant. In IEEE Trans. Image Process, 2007.
[53] M. Rydfalk. Candide, a parameterized face. Technical Report LiTH-ISY-I-0866, Linkoping University, 1987.
Reconhecimento de expressões faciais 69 [54] M. Black and Y. Yacoob. Recognizing facial expressions in image sequences using local parametrized models of image motion. In International J. Computer Vision, volume 25, pages 23– 48, 1997.
[55] M. Black and Y. Yacoob. Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions. In Proc. International Conf. Computer Vision, pages 374–381, 1995.
[56] Yu-ting Pai, Shanq-jang Ruan, Mon-chau Shie, Yi-chi Liu, "A Simple and Accurate Color Face Detection Algorithm in Complex Background," icme, pp.1545-1548, 2006 IEEE International Conference on Multimedia and Expo, 2006