Construction d’une grille de caractérisation économique des risques

Segundo Franco-Santos et al. (2007), a caracterização de um sistema de mensuração deve considerar as propriedades ou os elementos que o compõem; o propósito ou das funções que são cumpridas pelo mesmo e o conjunto de ações combinadas para sua construção. Para Bourne et al. (200018, apud LOHMAN et al., 2004), o desenvolvimento de um sistema de mensuração pode conceitualmente ser separado em fases de desenho (identificação de objetivos-chave e definição das medidas), implantação (identificação de sistemas e procedimentos para coleta e processamento de dados) e uso. Os autores alertam para a necessidade de estabelecimento de um processo de revisão contínua do sistema.

Na fase de desenho, a seleção de indicadores pauta-se em diferentes critérios tais como relevância política, utilidade para os usuários e capacidade

analítica e de medição (ORGANIZAÇÃO PARA COOPERAÇÃO E

DESENVOLVIMENTO ECONÔMICO, 2003); a simplicidade de cálculo, a facilidade

18 _{BOURNE, M. et al. Designing, implementing and updating performance measurement systems.}

de obtenção, a atualidade, a periodicidade, a confiabilidade e a adequação ao objetivo do estudo (NUNES et al., 2001).

Nahas (2002) considera que a definição e a elaboração da arquitetura de um índice devem assegurar os requisitos de consistência do modelo formal de cálculo como forma de garantir a comparabilidade da série temporal, primar pelo estabelecimento da ponderação dos indicadores com participação de usuários imediatos e incorporar flexibilidade para permitir a inclusão de novos temas ou de indicadores que se fizerem importantes na medida em que se alterem as condições dadas.

Meadows (1998) relacionou alguns riscos observados durante a escolha e a utilização de indicadores, como dependência de falsos modelos (indicadores baseados em relações de causa e efeito que não são reais), desvio da atenção da experiência direta (análise parcial, a partir de um único indicador), excesso de agregação, excesso de confiança (indicadores como instrumento de monitoramento e não como controle da situação), falsificação deliberada; incompletude (indicadores representam parte de um sistema) e medir o que é mensurável, ao invés do que é importante. Granados e Peterson (1999) alertam que, na construção de índices, os dados podem ser perdidos e escondidos no processo de agregação e diferentes cenários podem levar ao mesmo valor dos índices, não possibilitando a identificação do problema para correção.

A construção e a análise crítica da validade de um índice devem estar pautadas em critérios norteadores. Com base na literatura ((MINISTERIO DO MEIO AMBIENTE DA ESPANHA, 1996, CITADO POR SILVA, 2000; OCDE, 1993; NIEMEIJER E GROOT, 2008; WARREN, 1997 CITADO EM BARBOZA, 2003; SINK, 1985; BÖHRINGER E JOCHEM (2007); GALLOPÍN (1996); OCDE, 1993; SILVA, 2000; BLANCO ET AL., 2001; VAN BELLEN, 2002; MIRANDA E TEIXEIRA, 2004; E MITCHELL,1996), pode-se considerar que o processo de construção/implantação de um índice pauta-se na consideração de aspectos que envolvem a base conceitual e sua operacionalidade (Figura 8). Assim, seu modelo conceitual deve permitir a representação do fenômeno de maneira precisa, sua execução deve prezar a qualidade da informação e seus resultados devem alcançar sua finalidade e conferir longevidade ao instrumental. De maneira resumida, o processo de elaboração e análise de um índice deve considerar os seguintes requisitos:

(a) confiabilidade teórico-instrumental, elemento que conjuga o conhecimento teórico-científico sobre o fenômeno (relações de causa-e-efeito e elementos que integram o conceito) com o uso de metodologias de construção definidas e descritas, incluindo-se as questões de adequada normalização, agregação e peso das variáveis;

(b) confiabilidade de campo, relacionada à consistência, confiabilidade e qualidade dos dados, ou seja, a mensuração deve estar suportada por uma fácil disponibilidade das informações e que estas sejam compreensíveis, de qualidade e documentadas adequadamente;

(c) aplicabilidade, no sentido de que o processo de construção, no seu todo, deve estar revestido de relevância aos usuários, comparabilidade temporal e regional (setorial) por meio de valores referenciais e que, por decorrência, caracterizam-se pela sensibilidade às diferentes mudanças verificadas tanto no tempo quanto no espaço (setor).

Dimensão Requisitos Caracterização

Conceitual Confiabilidade teórico-_instrumental

Conhecimento teórico-científico (relações de causa-e-efeito com o fenômeno estudado) Consistência da metodologia de construção de indicadores: modelo matemático, normalização e aferição de peso das variáveis

Operacional

Confiabilidade de campo

Informações facilmente disponíveis

Informações de qualidade e documentadas adequadamente

Consistência dos dados

Aplicabilidade

Relevância Comparabilidade Sensibilidade

Quadro 1 - Requisitos a serem considerados na construção e análise de índices. Para Freudenberg (2003), para minimizar erros de interpretação e de análise, os índices devem ser transparentes e prover informação detalhada sobre metodologia e fontes de dados. Eles deveriam sempre ser acompanhados por explicações dos seus componentes, da construção, das limitações e da interpretação, e testes de sensibilidade deveriam ser realizados em termos de

padronização, ponderações e aproximações de agregação. O autor sugere os seguintes passos a serem seguidos na construção de indicadores compostos:

(a) desenvolvimento de uma estrutura teórica para o compósito; (b) identificação e desenvolvimento de variáveis relevantes; (c) normalização das variáveis para permitir comparações; (d) ponderação de variáveis e do grupo de variáveis;

(e) condução de testes de sensibilidade e de robustez das variáveis agregadas.

Com relação à normalização das variáveis, as principais técnicas usadas na literatura são (FREUDENBERG, 2003):

1. Desvio-padrão da média - pressupõe uma distribuição normal e valores positivos (negativos) para um determinado indivíduo indicar o desempenho acima (abaixo) da média:

2. Distância do líder do grupo - designa-se valor 100 ao indivíduo de maior valor (líder), e ordenam-se os demais indivíduos como pontos de

porcentagem em relação ao líder: 100

3. Distância da média - o valor médio (ponderado ou não-ponderado) é

determinado como 100, e os indivíduos recebem pontuações que dependem da distância em relação ao valor médio. Valores mais altos que 100 indicam desempenho superior a média: 100

4. Distância dos melhores e piores resultados - o posicionamento é em relação aos valores máximo e mínimo, e o índice possui valores entre 0 (“último colocado”) e 100 (“líder”): 100

5. Escala categórica - cada variável recebe uma pontuação (qualquer valor entre [1...k], k>1, ou qualitativo - alto, médio, baixo), dependendo se seu valor está acima ou abaixo de um determinado limiar.

Uma das dificuldades na construção de um índice reside na forma de agregação de dados, como ponderar dimensões e aspectos para, ao final, expressar o resultado em índice, sem desprezar ou tornar o processo subjetivo. Além disso, cada sistema possui condições de entorno e especificidades distintas. A agregação requer que as questões sejam convertidas em valores padronizados à mesma referência no intuito de melhorar o entendimento da proporção ou valor para cada questão, com escores expressos na mesma dimensão, o que permite melhor comparabilidade dos resultados.

Segundo Zambon et al. (2005), é possível agrupar os métodos de definição de pesos em quatro categorias: métodos baseados em ordenação de critérios, em escalas de pontos, em distribuição de pontos e comparação de critérios par a par. Já Siena (2008) cita alguns procedimentos para atribuição do conjunto de pesos: (a) uso de ponderação baseada em painel de especialistas; (b) uso de valores definidos pela sociedade, por meio de survey, painéis com atores representativos ou métodos de decisão multicritérios; (c) uso de método Delphi, análise multicritério ou método da distância das metas para ponderar aspectos ou indicadores em que há reconhecida dificuldade de comparações científicas; e (d) uso de métodos em sequência, ponderação com base em análise científica e em julgamento de valor. Dentre os métodos e os procedimentos existentes, destaca-se o método de decisão multicritérios Analytic Hierarchy Process (AHP). Embora o índice não consista em um problema de decisão, o presente trabalho fará uso do procedimento do método para a definição dos pesos de agregação do índice. A opção pelo método fundamenta-se pelo fato de o mesmo permitir o tratamento de múltiplos atributos/critérios, tanto quantitativos como qualitativos, simultaneamente, ser aplicado em situações que envolvem julgamentos subjetivos, prover medidas de consistência de preferências, apresentar um algoritmo relativamente simples de ser implementado e possuir uma ampla documentação de suas aplicações práticas na literatura.

O método AHP, originalmente desenvolvido pelo professor Thomas L. Saaty, em 1972, para solucionar um problema específico de planejamento, permite

obter escalas de razão de comparações pareadas (SAATY, 1991). Para Mendonza et al., (1999), o método AHP reduz problemas complexos dentro de uma série de comparações simples (pairwise comparisons) entre elementos da hierarquia de decisão. A entrada para cálculo destas escalas pode ser obtida a partir de medições reais como preço, peso etc., ou da opinião subjetiva, como sentimentos de satisfação e preferência. O AHP permite algumas pequenas inconsistências no julgamento, porque nem sempre o senso humano é coerente (TEKNOMO, 2009).

De acordo com Saaty (1991), sistemas complexos podem ser melhor compreendidos através do particionamento deste em elementos constituintes em estrutura de elementos ordenados hierarquicamente e, com base na síntese de julgamentos de importância relativa entre os elementos em cada nível hierárquico, estabelecer um conjunto de prioridades ou pesos. O método AHP abrange três etapas: a estruturação (decomposição) do problema, os julgamentos comparativos e a síntese das prioridades. Resumidamente, o procedimento baseia-se na decomposição e na divisão do “problema” em fatores até níveis claros e dimensionáveis pela estruturação hierárquica de critérios/indicadores e pelas alternativas relacionadas ao objeto de decisão ou de análise (árvore de componentes, critérios/indicadores e descritores). A partir do conjunto hierárquico estabelecido, são realizadas comparações entre pares de critérios/indicadores relativas ao seu grau de importância, com base em uma escala, resultando em matrizes de comparações paritárias. Por meio da técnica do autovetor (vetor de Eigen), o método calcula os pesos para cada critério/indicador nos vários níveis hierárquicos e a taxa e a razão de consistência. O presente trabalho fará uso desta técnica para aferição dos pesos entre os componentes e indicadores.

3.3.2 Evolução de Indicadores e índices de mensuração de CT&I, difusão e