“We listen to music with our muscles” - Friedrich Nietzsche
Propomos o paradigma de Instrumento Digital de Música e Dança (Digital Dance and Music Instruments, D²MIs) para contribuir para o desenvolvimento de instrumentos que potencializem a expressividade corporal ao mesmo tempo da expressividade sonora. O paradigma de D²MIs está fundamentado nos paradigmas de DMIs e IDSs e podemos delimitá-lo como a intercessão destes.
Figura 4-1 Diagrama de Vinn dos D2MIs, definidos como a interseção entre DMIs e IDSs
A nossa proposta de solução está fundamentada a partir da delimitação dos paradigmas de DMIs e IDSs feita no capítulo anterior. Ressaltamos o caráter minoritário nestes paradigmas que o desenvolvimento de dispositivos que sirvam simultaneamente para dança e para a música com uma abordagem instrumental têm. Os paradigmas de DMIs e IDSs foram apresentados com o objetivo de ressaltar este nicho específico que apresenta algumas especificidades pouco estabelecidas em cada um desses paradigmas.
D²MIs são instrumentos para músicos dançarinos e dançarinos músicos, artistas que se situam na fronteira entre as duas áreas e que buscam se expressar pela música e pela dança ao mesmo tempo. Em geral os instrumentos musicais limitam as
possibilidades de expressão corporal e da mesma maneira os IDSs limitam as possibilidades de expressão musical. Isso ocorre por escolhas no desenvolvimento pautado em uma maioria de cada área que não têm interesse em cruzar a fronteira entre as linguagens de música e dança.
Embora os estudos apresentados no capítulo 4 demonstrem a importância da expressão corporal para percepção musical, são pouco comuns os DMIs desenvolvidos para uma expressividade corporal. Na sua grande maioria, a comunidade de desenvolvimento de DMIs parte de um pressuposto que o som é o fim de todo instrumento e que os gestos de controle não devem passar de um meio para a sua produção. Uma postura análoga ocorre no paradigma de IDSs, que sustenta a tese de que um dançarino deve apenas se preocupar com a expressividade corporal. Este paradigma tem um pressuposto muito forte de que a dança já é uma carga muito alta de esforço para os dançarinos e que qualquer outro controle que esteja em suas mãos é nocivo.
É um lugar comum a afirmação em ambos os paradigmas de que dançarinos devem apenas dançar e que músicos devem apenas fazer música. Mesmo assim, a criação de DMIs controlados pela dança e IDSs que partem de uma relação instrumental para produção sonora têm sido aceitos em ambos os paradigmas. Por serem abordagens minoritárias, no entanto, são desenvolvidos sem referencias de semelhantes, sistematizações e critérios de qualidade específicos. É comum que um novo D²MI reinvente a roda de aspectos fundamentais de sua natureza ou se aproveite apenas do conhecimento estabelecido em um dos paradigmas. Um D²MI criado em um contexto de DMIs, por exemplo, parte de diversos conhecimentos desta tradição mas carece de conhecimentos estabelecidos pelos IDSs.
Propomos sistematizar o paradigma de D²MIs para suprir estas faltas, estruturando um nicho específico com propostas de instrumentos exemplares, critérios de qualidade, conceitos estruturantes, uma categorização relevante e apontamentos para as características da comunidade de desenvolvimento e de uso. Além de fortalecer as bases para criação de D²MIs, este paradigma pode contribuir para a troca de conhecimentos entre os paradigmas de IDSs e DMIs. IDSs têm muito a contribuir para o desenvolvimento de DMIs e vice-versa, mas a comunicação é prejudicada pela falta de um repertório comum de referencias, valores e terminologias. A definição de interseções é interessante para abrir pontes de diálogo entre paradigmas diferentes. Por ser composto por características do paradigma de DMIs com outras de IDSs os D²MIs
podem ser uma língua franca entre os dois, facilitando a troca de conhecimentos entre as comunidades.
A definição do paradigma de D²MIs pode, por exemplo, contribuir para a expressividade corporal de músicos. O conhecimento sistematizado pela comunidade de IDSs sobre o processamento do movimento em quatro níveis de abstração pode contribuir para um design de um instrumento a partir de gestos expressivos. O mapeamento de qualidades expressivas do movimento à parâmetros da produção sonora podem sugerir affordances que estimulem o instrumentista a se movimentar expressivamente.
Além de resolver um problema da comunidade musical, os D²MIs também podem contribuir para a dança interativa. Os IDS têm se distanciado da relação computer-as-instrument e acreditamos que existem ainda muitas possibilidades pouco exploradas nesta relação entre música e dança dentro de uma interação instrumental. Os primeiros desenvolvedores de IDSs começaram as suas criações nesse sentido e, ainda sem um amadurecimento sistêmico da área, se convenceram a abandonar estas possibilidades. Estas decisões foram pautadas principalmente por critérios estéticos dos experimentos realizados nas companhias de alguns pioneiros como é o caso do “MidiDancer” de Mark Coniglio (DELAHUNTA, 2002) e dos experimentos de Frieder Weiss na cia. Palindrome34.
A sistematização do paradigma de D²MIs pode trazer uma nova esperança para os dançarinos e os desenvolvedores de IDSs para a interação instrumental. Diversas tradições de dança têm como pilar central em suas estéticas a relação precisa entre o movimento e o som, e estas podem se beneficiar da criação de sistemas interativos com abordagem instrumental.
Para definir as características do paradigma de D²MIs nos inspiramos paradigmas de DMIs e IDSs. O diagrama conceitual foi feito a partir da fusão de ambos, enquanto que os conceitos estruturantes, a comunidade e os critérios de qualidade foram selecionados de características de cada um. Segue abaixo a descrição de cada parte do paradigma bem como a justificativa para a seleção de cada característica.
34 Frieder Weiss relata esta descrença na relação instrumental entre música e dança na palestra disponível em https://vimeo.com/52208994
Figura 4-2 Quadro do paradigma de D²MIs
Uma sólida referencia para o paradigma de D²MIs são os Instrumentos de Música e Dança (IMDs) acústicos de tradições onde a dança e a música acontecem indissociavelmente. Alguns exemplos são as várias tradições de sapateado que possuem pisos ou calçados desenvolvidos para produzir música enquanto se dança. Alguns exemplos são os tamancos de fandango do litoral do Paraná, os tamancos de coco de Arcoverde, os sapatos de “tap dancing” dos Estados Unidos e de step dancing da Irlanda para citar apenas alguns. Ao sapatear, o dançarino está fazendo música e seus sapatos são seus instrumentos. Estes instrumentos são desenvolvidos de modo a amplificar o som de suas pisadas e estão tanto a serviço da música quanto da dança, que não faria sentido sem aqueles sapatos. Existem diversos outros exemplos de IMDs acústicos como as diversas tornozeleiras sonoras de guizos metálicos ou sementes, os bastões de madeira ou facões de Maculelê, os homem-bandas chinchineros do Chile, os braceletes, as castanholas ou mesmo as roupas com adereços metálicos das dançarinas do ventre.
4.1.1 Comunidade
A comunidade de desenvolvimento de D²MIs é uma minoria de desenvolvedores de DMIs preocupados em possibilitar a expressão corporal dos usuários e uma minoria de desenvolvedores de IDSs que busca criar sistemas interativos
Paradigma de D²MIs Conceitos Estruturantes - Instrumentalidade - Mapeamento - Gestos Expressivos Comunidade - Comunidade MOCO - Comunidade NIME interessada em dança - Comunidade de IDS interessada em música - Dançarinos e coreógrafos dispostos musicalmente - Músicos dispostos corporalmente Critérios de Qualidade - Expressividade Corporal e Sonora - Baixíssima e estável latência - Não obstruir movimento
- Low Floor, High ceiling - Mapeamento a gestos expressivos
- Confiabilidade
Categorias Artefatos Exemplares
- Very Nervous System - Karlax - Expressive Footwear - Prosthetic Instruments Fixação Metáfora de Interação
Interação Tátil interação tátil com o objeto instrumento como objeto fixado em um objeto Objeto interação tátil com o ambiente não fixado (solto) interação tátil com o corpo instrumento como ambiente instrumento como corpo sem interação tátil (gestos livres) fixado no ambiente fixado no corpo Corpo Ambiente ø
com uma relação instrumental para a produção sonora. A comunidade de usuários de D²MIs são artistas que buscam se expressar na fronteira entre as áreas de música e dança. São eles também os músicos interessados em utilizar da expressividade corporal em suas apresentações, dançarinos dispostos a produzir música com sua dança. Em geral, a comunidade de D²MIs consiste em criadores interessados na fusão das artes corporais e sonoras.
Os criadores de D²MIs em geral oscilam entre as comunidades de DMIs e IDSs ou mesmo em torno do desenvolvimento de IMS/NIMEs. Alguns têm uma inclinação maior para as questões do movimento, e vêm a produção musical como uma boa forma de potencializar os seus movimentos com D²MIs. Outros criadores buscam interfaces musicais inovadoras a partir do estudo de novas possibilidades de controle gestual. Mantendo a atenção ao caráter expressivo do corpo, eles podem se inspirar em instrumentos tradicionais (VISI, 2017) ou buscar gestos de controle completamente novos (PARADISO et al., 2000; PARADISO; HU, 1997; TANAKA, 1993).
A conferência MOCO, que já está na sua quarta edição, está estruturando a comunidade de pesquisa sobre computação e movimento. Da mesma maneira que pode contribuir para o estabelecimento do paradigma de IDS, é um espaço propício para a comunicação de pesquisadores e desenvolvedores de D²MIs. A sistematização do paradigma tem a intenção de estimular novos agentes a integrar esta comunidade apresentando as possibilidades, qualidades importantes a serem consideradas e referencias de exemplos. Aqueles que já criaram instrumentos que podem ser considerados D²MIs podem, em um paradigma estruturado, refletir sobre a sua criação e abrir canais de diálogo com interlocutores que têm buscas semelhantes.
4.1.2 Conceitos Estruturantes e Critérios de Qualidade
Propomos o diagrama da Figura 5-3 para descrever a arquitetura de um D²MI. Ele é composto por uma interface de percepção gestual, uma unidade de processamento gestual, uma de mapeamento e uma outra de produção sonora. A interface consiste nos sensores que percebem informações a partir do controle gestual. A unidade de processamento gestual é responsável tanto pelo tratamento quanto pela interpretação dos dados brutos dos sensores em diferentes níveis de abstração. A unidade de mapeamento deve processar estas qualidades para a unidade de produção sonora, de modo a obter relações entre gesto e som interessantes. Esta última etapa é composta por
sintetizadores sonoros e atuadores eletromecânicos (alto falantes ou instrumentos robóticos).
Figura 4-3 Diagrama de umD²MI
O feedback gestual é responsável por comunicar ao artista que o gesto de controle foi percebido pelo instrumento e pode ser dado por elementos passivos da interface (como um clique de um botão ou da elasticidade da estrutura do instrumento) como também por elementos ativos (como atuadores luminosos, mecânicos ou sonoros). O feedback da produção sonora é responsável por retornar ao usuário informações sobre o som produzido pelo instrumento e é composto principalmente pela saída sonora do instrumento, mas também pode ter produções análogas a este som com projeções, indicadores luminosos (como barras de VU) ou mecânicos (como motores que vibram na frequência do som).
Este diagrama poderia incluir teoricamente qualquer DMI ou IDS mas, da mesma maneira que os diagramas destes paradigmas, sugere uma arquitetura específica e comunica características fundamentais do paradigma de D²MIs. É ressaltada a preocupação da sensação de controle pela indicação do feedback (característico da abordagem instrumental). A unidade de processamento gestual é uma peça chave de um D²MI, sugerindo que estes devem se preocupar com a expressividade dos gestos.
A representação do mapeamento através de diversos blocos conectados, indica uma abordagem diferente da representação por setas dos DMIs. A nossa abordagem sugere uma algo mais próximo dos ambientes de programação de IDSs onde além mapear dados “crus” de sensores, seja possível “cozinhar” esses dados por diferentes processos. Mapeamentos expressivos entre gesto e som nem sempre são aqueles onde parâmetros sonoros estão diretamente relacionados às qualidades de movimento. Uma outra referencia para esta proposta de mapeamento é sistematização de Filipe Calegario
Feedback Gestual Passivo Interface de Percepção Gestual Raw Low-level Mid-Level High-Level Unidade de Processamento Gestual Unidade de Produção Sonora Controle Gestual Saída Sonora Feedback da Produção Sonora Unidade de Mapeamento Feedback Gestual Ativo
de decompor a unidade de mapeamento de um DMI em diversos níveis: raw, cooked, adapted, e combined (CALEGARIO, 2016).
Um exemplo de metáfora de mapeamento é o de “mensageiro dos ventos”, onde a velocidade de deslocamento de um braço pode atuar como a metáfora do vento em uma simulação física de diversos pêndulos colidindo entre sí com uma probabilidade que dependa da velocidade do vento, gerando sons a partir de cada colisão. A unidade de mapeamento seria responsável em transformar a qualidade de movimento “velocidade de um braço” em diversos controles de disparos sonoros que podem ser encaminhados para um sintetizador. Uma abordagem semelhante foi utilizada por Siegel em uma metáfora de cada sino estar associado a um membro do corpo (SIEGEL; JACOBSEN, 1998). Parâmetros de mais alto nível de abstração, como o grau de tensão do corpo, poderiam estar associados à seleção de módulos de mapeamento de escalas musicais em que os sinos estão organizados. O grau de suavidade do movimento poderia estar relacionado a parâmetros do timbre dos sinos. Dados de baixo nível, como a leitura de um acelerômetro, poderiam estar diretamente relacionados com a quantidade de vibrato.
A arquitetura de mapeamento proposta para D²MIs está diretamente associada à ambientes de programação com a metáfora de patch-chords tanto de IDSs (Isadora e EyesWeb) como de síntese sonora (Max/MSP, Pure Data). Esta é uma sugestão de arquitetura de software que obviamente pode ser implementada em linguagens textuais como Chuck35 e SuperCollider36 como também em linguagens de propósito geral como Java ou C++. Seguindo o exemplo dos IDSs, no entanto, é preciso se preocupar com a facilidade de acesso à programação, buscando um piso baixo e um teto alto. Quanto mais esta linguagem for adaptada para as habilidades e propósitos específicos da comunidade em potencial, maior a adoção de novos criadores para este paradigma.
Percebemos a instrumentalidade como uma característica determinadora para o conceito de D²MI. A complexidade deste termo, apresentada na seção sobre DMIs, se aplica também a este paradigma, acrescentando fatores que dizem respeito a expressividade corporal. Consideramos como critérios necessários para um instrumento de música e dança apenas a relação de intencionalidade e a sua capacidade de produção sonora relacionada ao movimento corporal.
35http://chuck.cs.princeton.edu/ 36http://supercollider.github.io/
Da mesma forma que um instrumento musical pode ser percebido com diferentes graus de instrumentalidade, o grau de instrumentalidade de um D²MI é um fator subjetivo que pode variar de acordo com a perspectiva de cada um. Esta graduação pode levar em conta critérios estéticos, referencias culturais e preferencias pessoais. Defenderemos que a instrumentalidade de um D²MI é definida pelos seguintes critérios:
• Produção sonora relacionada ao movimento corporal:
A relação entre gesto e som é fundamental para um D²MI. A qualidade do mapeamento entre gesto e som é um dos principais fatores para além da qualidade do som produzido e da qualidade do movimento realizado. A independência entre a interface de controle e unidade de produção sonora de um D²MI tende a herdar a possibilidade de utilizar dos sintetizadores digitais que já existem em DAWs, VSTs ou mesmo em hardwares independentes de síntese analógica ou digital controlados pelo protocolo MIDI. A proposta de arquitetura da unidade de mapeamento permite expandir as possibilidades de aproveitamento dos sintetizadores já disponíveis, podendo parametrizar relações mais sofisticadas não previstas pelo desenvolvedor do sintetizador. Mesmo assim, acreditamos que a aproximação da criação de sintetizadores do processo de criação de novos D²MIs pode gerar inspirações mútuas de som e movimento.
• Intenção/propósito:
Diferentemente da maioria dos IDSs, um D²MI deve ser controlado pelo usuário e o usuário deve ter uma intenção gestual e sonora para tocá-lo. A estratégia de mapeamento é o principal fator a determinar a interação e deve ser feita de modo que a produção sonora possa ser controlada pelo performer. Da mesma maneira que a definição do que é um instrumento musical pode variar dependendo da intencionalidade de quem o usa, o que é um IMD pode variar de pessoa para pessoa. Consideramos um instrumento musical tradicional tocado enquanto se dança como um IMD. Um exemplo é Chuck Berry e Angus Young que dançam enquanto tocam guitarra.
Mesmo instrumentos que foram pensados apenas para expressão musical podem ser IMDs dependendo da postura do instrumentista. O fato de qualquer objeto poder ser um instrumento musical não impede que instrumentos musicais sejam criados para potencializar as possibilidades de expressão sonora. Da mesma maneira, um D²MI deve ser desenvolvido de modo a potencializar a expressão corporal além da sonora.
A restrição do movimento que uma guitarra ou um piano colocam no instrumentista são muito grandes, mas mesmo assim não impedem que se dance ao tocá-los. Um D²MI pode facilitar e estimular a expressão de ambas as linguagens ao mesmo tempo, se aproveitando de gestos expressivos para produção sonora e distribuindo a carga cognitiva de controle entre as duas modalidades expressivas. Os sapatos de sapateado, por exemplo, apresentam um espectro sonoro bastante limitado e também limitam os gestos de dança, mas o gênero artístico é admirado pela dança e música serem produzidas ao mesmo tempo.
É importante levantar esse caráter subjetivo da instrumentalidade para se ter em mente que o modelo conceitual do designer de um instrumento não é o mesmo do usuário. Um instrumento feito para ser dançado pode inclusive ser usado para apenas produzir música se essa for a intenção do instrumentista. O conceito de “coeficiente artístico” de Marcel Duchamp pode contribuir para compreendermos esta relação. Trata-se da diferença entre o que o artista quis realizar e o que na verdade realizou e está contido na sua obra de arte (DUCHAMP, 2004). Extrapolando esse conceito para a relação entre designer e artistas, é interessante que o designer de D²MIs tenha algum coeficiente para possibilitar as ressignificações e adaptações do instrumento pelo artista para se adaptar às suas intenções expressivas.
• Possibilidade de aprender/possibilidade de desenvolver virtuosismo:
A facilidade inicial para tocar o instrumento é um fator sempre desejável, seja para um DMI ou para um IDS. A diferença para um D²MI é que o piso baixo se refere tanto ao controle musical quanto à possibilidade de se dançar com ele. Um D²MI deve herdar o piso baixo para expressão musical dos DMIs e um piso baixíssimo para expressão corporal dos IDS. É importante que o instrumento tenha também um teto alto que permita um desenvolvimento de virtuosismo. D²MIs devem permitir uma evolução contínua do instrumentista, apresentando possibilidades suficientes para desenvolver técnicas. Como o virtuosismo pode ser definido por qualidades corporais além de sonoras, o caminho para o virtuosismo pode ser tanto sonoro quanto corporal.
Voltando ao exemplo do sapateado, as mesmas células rítmicas são tanto mais admiradas quanto mais acrobático for o movimento do corpo enquanto se toca. A crença de que um dançarino já tem muito com o que se preocupar com a sua dança e que não deve se preocupar com a produção musical não é sustentável para D²MIs. Neste paradigma é interessante romper barreiras técnicas da expressão sonora e musical ao
mesmo tempo. Isso não impede, no entanto, de se buscar gestos que já façam parte do repertório de movimentos de um dançarino para inspirar a criação de um instrumento. É interessante que seja fácil começar a tocar, mas também é interessante que haja um esforço para desenvolver novas técnicas.
É comum em IDSs que se utilize de um mapeamento dinâmico, que altere a lógica de funcionamento do sistema diversas vezes durante uma apresentação. Esta prática pode prejudicar a possibilidade de se aprender a tocar um D²MI, sendo preferível sempre um mapeamento estático que permite que se crie uma intimidade de controle pelo instrumentista. Muitas vezes, o protagonismo de uma apresentação de dança interativa é do sistema digital, que tem mais controle sobre o espetáculo que o dançarino. Para os D²MIs o protagonista é o performer e é interessante que ele possa criar uma relação de longo prazo com o instrumento para que possa desenvolver uma relação transparente, onde o instrumento possa ser percebido como uma extensão de seu corpo.
• Tocabilidade/Dançabilidade/Imediatismo:
A tocabilidade depende diretamente da sensação de controle sonora do instrumentista. Para além desta tocabilidade propomos que um D²MI deva ter também uma “dançabilidade”, isto é, que seja possível dançar ao tocar o instrumento,