A multimodalidade é um campo recente de pesquisa que envolve os diferentes modos semióticos. De acordo com Jewitt (2005) os modos semióticos correspondem à fala, à escrita, ao gesto, à imagem, ao som, ao olhar, ao posicionamento etc. A definição do que seria um modo
é imprecisa, os modos são recursos semióticos que incluem os componentes verbais e não- verbais do discurso (JEWITT, 2008).
Na maior parte das pesquisas a ênfase é dada somente à fala e/ou à escrita, sendo denominadas como monomodais. Os recursos multimodais estão presentes na interação dos sujeitos com o ambiente que o cerca, como é o caso de um computador ou do papel e da caneta. Cada modo semiótico é um recurso potencial para significação. Segundo Jewitt (2005), a escrita possui dominância sobre a significação, porém não é a única forma de mediar a construção dos significados. A imagem apresenta um potencial para a significação. Os estudos com os modos semióticos em alunos podem contribuir para a compreensão de quais significados são construídos. Um signo é resignificado pelo aluno a partir de um meio social (FRANKS; JEWITT, 2001). As interações dos sujeitos com os objetos são mediadas pelos modos semióticos. A fala, apesar de ser o centro ou o principal modo semiótico, é usada em conjunto com os demais modos. Pode-se destacar o papel que a imagem adquiriu como modo semiótico, pois Kress e van Leeuwen (1996) propuseram uma gramática para a compreensão das imagens fundamentada em Halliday e em sua gramática sistêmica funcional. As imagens adquirem significação de acordo com o contexto em que estão inseridas, possuindo ideologias implícitas.
A semiótica social envolve o compartilhamento social de significados. Lemke apoia- se também na gramática sistêmica funcional de Halliday para quem, de forma geral, as funções semióticas são denominadas com a seguinte terminologia: função de apresentação; função de orientação e função organizacional; ou como metafunções, respectivamente, ideacional- experimental; interpessoal-atitudinal e textual (LEMKE, 2009).
A função de apresentação corresponde a apresentação do estado das coisas, ou o significado da ação, usualmente uma atividade reconhecida. A função de orientação corresponde a endereçar algo a outro, real ou imaginário, construindo algum tipo de relação social interpessoal, com uma atitude tanto para o outro, como para o contexto de apresentação de uma ação semiótica própria. E a função organizacional refere-se à construção de relações das partes com o todo, como fios de continuidade baseados na similaridade e diferenças que amarram juntando o todo da ação ou atividade e indica quais elementos estão mais próximos do que outros (LEMKE, 2009, p. 284-285).
Lemke considerou que “(...) os gêneros multimodais são os significantes interpretados a partir de um sistema semiótico (p.e. o verbal2 ) e outros significantes presentes sintagmaticamente são interpretados a partir de um outro sistema semiótico (p.e. exposição pictórica)” (LEMKE, 2009, p. 286, tradução nossa). Desta maneira, a fala/escrita e um desenho constituem dois sistemas semióticos que pertencem a um mesmo sintagma. Lemke argumentou que sua busca é sobre como interpretar uma figura em relação a um texto, construindo sintagmas pelos interpretantes a partir de signos conhecidos em uma comunidade. A ideia de sintagma é um sentido construído no emprego dos diversos signos pelos interpretantes. Com isso, ele explora a noção de sintagma multimodal em que os significados são construídos pela presença dos diversos sistemas semióticos.
Mais recentemente, a multimodalidade tem sido relacionada à ideia de letramento. A tecnologia possibilita novas formas de letramento, principalmente no campo científico (LEMKE, 2010) e no que pode ser chamado de multissemiótica (O’HALLORAN, 1998).
Norris (2011) mencionou a ideia de mudanças de configurações modais. Ela parte da noção de densidade modal. A ação é realizada pelos atores sociais da comunicação por meio dos diversos modos semióticos. Os modos empregados não são igualmente distribuídos. Durante um momento, a fala apresenta maior densidade do que a postura, a proxêmica e o gestual. Em outro, a fala diminui a sua densidade modal em relação aos outros modos. Norris propôs uma hierarquia dos modos, conforme Figura 6.
Figura 6. Mudança nas configurações modais de uma ação para outra.
(Fonte: NORRIS, 2011, p. 134)
2 No texto original em inglês: language, e em português linguagem possui um sentido mais amplo. Entende-se como fala e escrita.
Em sala de aula, Quadros, Silva e Martins (2012) desenvolveram a análise de modos semióticos, incluindo o modo proxêmico, o tom de voz, a influência do olhar, a amplitude dos gestos e a velocidade da fala em aulas de Química Orgânica no Ensino Superior. De acordo com as autoras, a mudança na proxêmica das professoras investigadas variaram em relação à REQ. O olhar, para as autoras, seria um esforço de envolver os estudantes com o objeto de conhecimento. No caso de uma REQ, as professoras estariam olhando para a REQ com o intuito de compartilhar os gestos que estão sendo realizados para os alunos. Neste estudo, Quadros, Silva e Martins (2012) identificaram que tais professoras empregaram os diversos modos semióticos como recursos de construção de significados para conceitos de posicionamento de átomos em uma molécula.
Com o enfoque de interações multimodais, Piccinini e Martins (2004) categorizaram o modo gestual, o movimento do corpo com as mãos, face e braços; o modo visual com imagens estáticas ou dinâmicas, como lousa, vídeos, transparências, microscópio; e o modo verbal que inclui tanto a fala como os textos escritos. Consideraram que “Os gestos têm o papel de representar as situações imaginadas pelos interlocutores, que em parceria no jogo de perguntas e respostas da professora, construíram a narrativa sobre as condições para o surgimento da vida no planeta Terra” (PICCININI; MARTINS, 2004, p. 13). As autoras analisaram os modos gestuais dos alunos durante a aula de ciências para construir o conceito de atmosfera.
Seria possível separar os componentes da ação ou os modos semióticos? Delimitar os modos semióticos poderia criar, conforme Norris (2011), a compreensão das configurações multimodais existentes durante a ação de ensino. Todavia, os modos não podem ser estudados isoladamente, pois para McNeill (2005) existe uma dialética linguagem-imagem criada pela sincronia do discurso e dos gestos. Para esta relação dialética chamada de growth-point, ou seja, uma unidade mínima psicológica que contém tanto os componentes das categorias linguísticas como também dos componentes da imagem. O termo growth-point é denominado desta maneira pelo autor, por ser uma unidade teórica aplicada ao crescimento mental de crianças, embora possa ser usada tanto em crianças como em adultos. O gesto e a fala também estão em relação dialética.
Em muitos estudos relacionados a imagens, a interpretação tem sido majoritariamente empregada em imagens estáticas de livros, revistas ou suportes impressos. Nas imagens dinâmicas em vídeos, em computadores ou mesmo em aulas conduzidas pelo professor, não se tem dado ênfase ao estudo da interação da imagem com o sujeito. Para o caso destas situações de interação dinâmica, a unidade de análise requer a ocorrência de uma ação externa.
Considerando o cenário de sala de aula, é necessário compreender que os professores estarão produzindo ações externas por meio da fala, da escrita, da lousa, de manipulação de computadores, de lousas digitais e também dos gestos.