Présentation Article 5

O sistema do MuDI baseia-se nos seguintes elementos tecnológicos:

• um dispositivo electrónico móvel (iPod touch, iOS versão 2.2.1);

• uma aplicação de dispositivo electrónico móvel (OSCRemote, versão 1.2); • um computador portátil (Macbook, OSX 10.4.11);

• uma aplicação de computador (Pure Data, versão 0.39.3-extended).

Os elementos tecnológicos mencionados e a configuração do sistema estão devidamente descritos nas próximas secções.

X.2.2.1 Dispositivo Electrónico Móvel e Aplicação

Pelo facto, dos dispositivos electrónicos móveis actuais serem mais fáceis de manusear e de possuírem mais sensores integrados do que os computadores portáteis, escolhemos o iPod touch para funcionar exclusivamente como controlador musical.

O iPod touch foi lançado no mercado em Setembro de 2007, pela Apple Inc. Tem embutido uma placa de rede Wi-Fi, uma tela multi-toque e um acelerómetro para leitura da posição, velocidade e aceleração de movimentos em três dimensões espaciais.

Existem várias aplicações para o iPod touch, no entanto, a mais flexível é a OSCRemote, no sentido, em que permite editar a interface de utilizador na própria

aplicação, não sendo necessário recorrer a nenhum computador ou programa específico para tal.51

O OSCRemote é uma aplicação intuitiva que usa o protocolo de comunicação OpenSound Control (OSC) (Wright, 2005), permitindo que o iPod touch comunique e interaja dentro de um sistema de rede Wi-Fi com qualquer programa que suporte o respectivo protocolo.

Os controladores mais comuns da aplicação são:

• Buttons. Permitem enviar mensagens específicas quando pressionados. • Switches. Ao acciona-los o utilizador pode alterar o seu estado (ON/OFF). • Sliders. Quando manipulados emitem valores constantes.

• Acelerómetros. Detectam a posição espacial, a velocidade e a aceleração de movimento do dispositivo manual, nos eixos x, y e z.

A Figura 83, apresenta uma interface de utilizador criada e editada na própria aplicação. Nesta interface podem ser vistos os controladores acima mencionados. Depois de criados e editados, os controladores encontram-se de imediato disponíveis para uso do utilizador.

Figura 83. Exemplo de uma interface gráfica de utilizador directamente criada e editada na aplicação.

Este conjunto de controladores foram seleccionados para compor e tocar música digital para filmes em tempo real, pelo facto de serem intuitivos e de fácil manuseamento. Para além disso, o facto de apresentarem diferentes formas e por desempenharem diferentes funções permitem ao utilizador criar um vasto reportório gestual de interacção. Quando manuseados de forma consciente podem ser um meio eficaz de obter um controlo efectivo sobre o som e consequentemente alcançar grande expressão musical.

Oferecem ainda respostas rápidas e precisas aos gestos de interacção realizados pelo utilizador, permitindo desta maneira, interagir com precisão com os diferentes ritmos das imagens do filme projectado.

Entre os controladores apresentados, gostaríamos de realçar a versatilidade de manuseamento do acelerómetro, pelo facto de permitir realizar gestos de interacção em espaço aberto.

X.2.2.2 Computador Portátil e Aplicação

O MuDI requer pelo menos um computador portátil, porque necessita de uma placa de rede Wi-Fi, bem como uma saída de áudio e vídeo integradas.

O computador portátil foi seleccionado para realizar a produção sonora, pelo facto, de possuir uma maior capacidade de processamento de informação, armanezamento e memória interna do que qualquer PDA ou telemóvel. Para além disso, tem ao seu dispor uma grande variedade de poderosos e versáteis programas informáticos dedicados à geração de síntese de som (e.g., Max/Msp52, Pure Data, SuperCollider53, Csound54, Chuck55).

O MuDI usa a aplicação Pure Data extended (Pd-extended), pelo facto, de esta versão incluir algumas livrarias adicionais (e.g., GEM, OSC, etc.), de maneira a permitir a reprodução vídeo e a comunicação OSC com o dispositivo electrónico móvel.

52 _{Max/Msp, http://cycling74.com/}

53 _{SuperCollider, http://supercollider.sourceforge.net/}

54 _{Csound, http://www.csounds.com/}

X.2.2.3 Configuração do Sistema

A configuração do sistema encoraja o uso do MuDI, porque os procedimentos de configuração são rápidos, fáceis de realizar e permanecem definitivamente gravados, não sendo necessário repetir os procedimentos de configuração iniciais.56

Para enviar informação da aplicação do dispositivo electrónico móvel para o computador portátil (através do protocolo de comunicação OSC) é necessário que ambos partilhem o mesmo endereço e portas de comunicação do Protocolo de Internet (IP).

Quer a aplicação do dispositivo electrónico móvel, quer o Pd-extended permitem atribuir os mesmos endereços e designar as mesmas portas IP. No caso específico do MuDI foi escolhida a porta IP 1111.

Para estabelecer a comunicação OSC entre os controladores individuais da aplicação do dispositivo electrónico móvel e a interface de utilizador da aplicação de computador (que iremos apresentar mais à frente) temos de escolher um nome predeterminado para todas as mensagem partilhadas. Neste projecto foi escolhido o nome “/remote”. Assim, todos os controladores da aplicação do dispositivo electrónico móvel devem ter um único nome como “/remote/fader1”, “/remote/button3”, “/remote/accelerometer”, etc.

X.2.2.4

Nesta secção vamos abordar a estrutura e o modo de operação da interface de

utilizador da aplicação de computador. A interface de utilizador é um patch de Pd-extended constituído por quatro módulos. Cada módulo desempenha uma função

específica. Por exemplo, o Módulo Comunicação realiza a recepção, encaminhamento e tratamento individual de toda a informação transmitida pela aplicação de controlo. O Módulo Som está exclusivamente dedicado à geração de som e à gravação áudio da composição musical directamente no disco rígido do computador. O Módulo GUI, através dos objectos Pd-extended designados por Graphical Users Interfaces ou GUI, permite visualizar a calibração do sistema, os pontos de referência e a relação entre os gestos

56 _{A única excepção acontece quando mudamos de rede Wi-Fi. Nesse caso, é necessário introduzir}

realizados e o som gerado. Por último, o Módulo Vídeo está dedicado ao visionamento das imagens do filme e à reprodução musical em sincronização com o filme projectado (Figura 84).

Figura 84. Interface de utilizador (MuDI versão 1.0). Em termos gerais, o Módulo Comunicação recebe, encaminha e trata a informação transmitida pela aplicação do

dispositivo electrónico móvel. O Módulo Som está dedicado à geração sonora e à gravação áudio. O Módulo GUI permite visualizar a calibração do sistema, os pontos de referência e a relação entre os gestos realizados e o som gerado. O Módulo Vídeo

permite o visionamento do filme e a reprodução musical.

X.2.2.5 Módulo Comunicação

No Módulo Comunicação o subpatch “pd osc” realiza a recepção de toda a informação transmitida pela aplicação de controlo, enviando-a de seguida para os subpatches programados especificamente para receber, encaminhar e tratar individualmente a informação de cada controlador. Estes subpaches específicos são: “pd sliders”, “pd buttons”, “pd switches”, “pd accelerometer”, “pd composition” e “pd video controls”.

Neste módulo, os principais subpatches são aqueles que se encontram directamente relacionados com o controlo dos principais atributos sonoros usados em contexto musical (i.e., percepção de altura sonora, percepção de intensidade sonora, Timbre, Dinâmicas e Durações).

Dois destes principais subpatches são: “pd sliders” e “pd buttons”. Ambos enviam valores numéricos para controlar o factor Q do filtro, que se encontra no subpatch “pd synthesis” (Módulo Som). O factor Q (relação entre a frequência central e a largura de banda do filtro) determina a quantidade de ruído filtrado produzindo modificações no espectro sonoro e consequentemente alterações em termos de Timbre.

No subpatch “pd accelerometer”, os valores das coordenadas do acelerómetro, para movimentos de flexão e extensão do pulso no eixo x entre 0º e -180º e de movimentos de rotação interna e externa do pulso, no eixo y entre -90º e 90º são escalonados de forma linear, de maneira a se obterem valores entre zero e um (x-values) para a amplitude do som e valores entre zero e 127 (y-values) para a altura sonora.

Posteriormente, os x,y-values são enviados separadamente para o subpatch “pd synthesis” com o propósito de controlarem a amplitude e a altura sonora do gerador de som. Consequentemente, vão determinar a percepção da intensidade e da altura sonoras.

Os Switches A e H (Figura 83) relacionados com o subpatch “pd switches” permitem manipular a Dinâmica do som de duas maneiras: quando ligamos o switch A, o fluxo dos valores do eixo x do subpatch “pd accelerometer” é interrompido e a amplitude do som “congela”. Nesta situação, só podemos manipular a percepção de altura sonora, ou seja, tocar diferentes alturas sonoras com a mesma intensidade (e.g., muito suave, suave, moderado, forte, muito forte). Quando ligamos o switch H, o fluxo do eixo y é interrompido e a altura sonora “congela”, ou seja, tocamos a mesma altura sonora a diferentes níveis de intensidade sonora (e.g., desde muito suave até muito forte).

Também podemos usar o switch H para manipular a Duração do som. Basta para isso pressioná-lo de forma intermitente.

X.2.2.6 Módulo Som

O Módulo Som está exclusivamente dedicado à geração de som e à gravação áudio da composição musical directamente no disco rígido do computador. É representado pelos subpatches “pd synthesis” e “pd record”.

O subpach “pd synthesis” é constituído por dois geradores de som. Referimo-nos concretamente a um gerador de ruído branco processado por um módulo de filtragem e de reverberação e pelo Chromasom (Capítulo IX, desta dissertação).

O segundo subpatch designado “pd record” está dedicado à gravação áudio da composição musical directamente no disco rígido do computador. O ficheiro áudio gravado (um ficheiro estéreo WAV) é armazenado na mesma pasta onde se encontra o ficheiro Pd-extended que constitui a aplicação da interface de utilizador, normalmente designado por “MuDI.pd”.

X.2.2.7 Módulo GUI

Este módulo permite visualizar a calibração do sistema, os pontos de referência e a relação entre os gestos realizados e o som gerado através dos objectos Pd-extended designados por Graphical Users Interfaces (GUI). Referimo-nos concretamente aos seguintes objectos: “grid”, “toggle”, “vslider”, “hslider” and “nbx” (Módulo GUI, Figura 84).

Neste módulo, cada controlador da aplicação do dispositivo electrónico móvel possuiu um objecto GUI específico associado a ele. Quando um controlador é manipulado, o objecto GUI associado reage simultaneamente permitindo, desta maneira, ao intérprete e à audiência acompanhar a relação entre os gestos realizados e o som gerado.

X.2.2.8 Módulo Vídeo

O Módulo Vídeo está dedicado ao visionamento das imagens do filme e à reprodução da composição musical em sincronização com o filme projectado.

Quando o controlador switch screen é activado cria-se uma janela gráfica através do objecto “gemwin” que se encontra na livraria GEM. A janela gráfica criada permite o visionamento do filme seleccionado.

Tocar e parar o filme são os únicos comandos utilizados para controlar as imagens do filme.

A Figura 85, mostra a relação entre os diferentes módulos da interface de utilizador, os seus elementos, a principal função atribuída a cada um deles e o resultado final em termos de percepção audiovisual.

Figura 85. Este diagrama de blocos apresenta (1) a estrutura geral da interface de utilizador, (2) as funções de cada um dos seus elementos e por último (3) o resultado

final alcançado em termos de percepção audiovisual. No Módulo Comunicação os

subpatches “pd sliders”, “pd buttons” e “pd accelerometer” estão inteiramente

dedicados ao controlo dos geradores de som (Módulo Som). O subpatch “pd

switches” é multi-funcional, no sentido, em que controla não só a geração do som,

mas também a gravação da composição musical. Os subpatches “pd composition” e “pd video controls” estão unicamente destinados à reprodução da composição musical

em sincronização com o filme seleccionado e com a paragem e reprodução das imagens do filme. Todos os subpatches, sem excepção estão ligados ao Módulo GUI

para permitirem visualizar a manipulação dos controladores da aplicação do dispositivo electrónico móvel.