Le positionnement actuel du Centre de documentation

Pode-se definir, como programa social, as iniciativas com o propósito de melhorar as condições de vida de um grupo ou de uma população. Além disso, é comum que a sociedade

64

civil crie iniciativas dessa natureza como consequência da ineficácia do Estado, tal qual o foi a criação do Projeto Solaris.

Segundo Pereira (2011), as primeiras abordagens no sentido de avaliação de programas sociais foram norteadas pelo pensamento positivista, focando na quantificação e exigindo rigor nos resultados. Essa ideia indica a preocupação em seguir os princípios das ciências exatas.

A visão multidisciplinar, com influência das ciências humanas, propiciou uma modificação de perspectivas, abrindo espaço aos métodos qualitativos, a depender do contexto no qual o programa está inserido.

Existem várias opções para avaliação de programas sociais, mas a escolha deve ser resultado de um processo interativo entre o avaliador e as pessoas interessadas na avaliação. Tal definição, contudo, pode ser complexa, visto que implica em decidir o que vai ser avaliado, excluindo de forma compulsória outras possibilidades. Isso ocorre porque, se os tipos diferentes de avaliações respondem a perguntas diferentes, logo haverá uma mudança de foco (BARREIRA, 2000).

De acordo com Grubits e Noriega (2004), os resultados e conclusões das metodologias quantitativa e qualitativa podem ser complementares; entretanto, se forem utilizadas pelo mesmo pesquisador, deve ser de forma subsequente. Para estes autores, o que determina a natureza metodológica de um trabalho é a sua própria hipótese. Ademais, esclarecem que a metodologia qualitativa não visa analisar respostas às indagações de mensuração dos fenômenos humanos, nem a metodologia quantitativa se ocupa em construir meios de responder à pergunta sobre interpretação de dinâmica das significações reais desses fenômenos para os sujeitos.

Então, a busca da verdade científica para determinada pergunta implica em uma opção metodológica. Estes autores afirmam ainda que a separação quantitativo/qualitativo existe epistemologicamente, pois se destina a resolver perguntas diferentes, ainda que levantadas a partir do mesmo objeto.

No caso em questão, a metodologia definida é a quantitativa, embora o ponto de partida seja a percepção de cada indivíduo. Para tanto, foram usados questionários como metodologia de coleta de dados, muito utilizados em muitas áreas da pesquisa, quando ocorre a necessidade de avaliar opiniões, preferências e comportamentos. De acordo com Matthiensen (2011), um questionário, bem feito e bem aplicado, metrifica a qualidade de um processo e utiliza-se de técnicas estatísticas para alcançar as conclusões.

65

Segundo Bland e Altman (1997), para uma série de perguntas podem ser adicionados um valor numérico para cada resposta. As escalas formadas, além de servirem como instrumentos de medição, definem as variáveis de prognóstico para modelos objetivos. Entretanto, os itens que compõem esta estrutura devem estas intimamente relacionados uns com os outros.

Interessa ainda saber que um bom questionário deve se preocupar em dois pontos fundamentais: sua validade e sua confiabilidade. De acordo com Richardson (1989), se um instrumento de medição é válido, ele mede o que se deseja, ou seja, se o grau, no qual os itens estão relacionados, está respeitando critérios, definições de conceitos, formulação de objetivos etc. Este conceito está ligado à precisão.

Quanto a confiabilidade, Hayes (1998) a define como o grau em que o resultado medido reflete o verdadeiro. Em outras palavras, trata-se de verificar quanto uma medida está livre da variância dos erros aleatórios. Tal conceito está relacionado com a consistência.

No que se refere a construto, Anderson et al. (2005) o definem como um conceito teórico, em que o pesquisador não pode medir diretamente, porque apenas se utiliza de indicadores. Os estudiosos exemplificam tal caso, dizendo que a atitude de uma pessoa (construto), em relação a um produto, jamais poderá ser medida de forma precisa, livre de incertezas. No entanto, ao responder várias perguntas (indicadores), pode-se avaliar, em muitos aspectos, a atitude dessa pessoa. As respostas combinadas, certamente, fornecem uma medida razoável de construto (atitude, neste caso).

Quanto ao coeficiente Alfa de Cronbach (α), segundo Bland e Altman (1997), é uma medida adequada para avaliar confiabilidade para um conjunto de dois ou mais indicadores de construto. Os valores de α podem variar de 0 a 1,0; maior confiabilidade quanto mais próximo de 1. Streiner (2003) limita o valor de alfa em 0,9, pois entende que, nestes casos, há itens redundantes. Este coeficiente se consolidou pelas seguintes razões: em um único teste oferece uma medida razoável de confiabilidade, sua formulação permite sua aplicação a questionários de múltipla escolha de variáveis politômicas e seu cálculo se baseia nos princípios da estatística básica.

De forma didática, Hora et al. (2010) ressalta que o valor de uma medida X é composto de duas variáveis: o valor verdadeiro V, somado ao erro E. Para o valor da observação ser mais próximo do verdadeiro, se realiza uma avaliação amostral da população. Em uma análise quantitativa de variabilidade é definida a variância (𝑆²), que representa a dispersão de um conjunto de dados. Então, para 𝑆²𝑥 tem-se a soma das variâncias dos valores verdadeiros e dos erros, conforme Equação 4:

66

𝑆²𝑥 = 𝑆2_{𝑣 + 𝑆²𝑒 (4)}

O valor de X se aproxima de V, à medida que a variância associada ao erro diminui, resulta em maior confiabilidade no instrumento utilizado para coleta de dados.

O coeficiente α é calculado a partir do somatório da variância dos itens individuais e da variância da soma de cada avaliador, através da Equação 5:

𝛼 = [ 𝑘

𝑘 − 1] . [1 − ∑𝑆2_𝑖

𝑆2_𝑡 ] (5)

Onde:

k corresponde ao número de itens do questionário; 𝑆2_{𝑖 corresponde à variância de cada item;}

𝑆2_{𝑡 corresponde à variância total do questionário (variância dos escores dos} avaliadores).

Hora et al. (2010) confirmam os pré-requisitos para a aplicação do Coeficiente Alfa de Cronbach: o questionário deverá estar agrupado em dimensões (tratam do mesmo aspecto), deverá ser aplicado numa amostra significativa da população e a escala já deve estar validada, ou seja, o instrumento de medida deve estar realmente medindo aquilo que se propõe.

Para comprovar a aceitação desse coeficiente, Matthiensen (2011) realizou um levantamento bibliométrico nos dois principais sites de literatura científica internacionais: Scopus e SpingerLink. Ao utilizar, como palavra-chave, o termo “cronbach”, pode-se constatar 10.099 resultados para o site Scopus e 18.229 para o SpringerLink, acessados até agosto de 2011. Ainda assim, segundo Matthiensen (2011), os resultados não são exclusivos, visto que existem duplos acessos e casos de mesmo periódico em ambos os sites. As áreas da saúde, ciências sociais e economia são as que mais utilizam este coeficiente, contudo é de grande abrangência nas demais áreas de conhecimento, apresentando elevado potencial de uso.

No que se refere à pesquisa de campo, a diretriz básica é avaliar os impactos nas ações educativas da chegada da energia elétrica na escola da aldeia.

67

Por isso, o questionário foi dividido em quatro agrupamentos, indicando a existência de quatro aspectos diferentes a serem abordados: condições de trabalho, aprendizado e ensino, uso dos recursos audiovisuais na sala e impacto na vida da comunidade.

Assim, num primeiro momento, os questionários foram aplicados aos professores do ensino fundamental e médio, procedendo com a identificação e coleta de dados no que tange a formação e tempo de ensino.

Deve-se ressaltar também que o conteúdo dos questionários (Apêndice 3) foram consolidados com a participação dos seis professores indígenas, dois não indígenas, diretor e coordenador pedagógico. Ou seja, os tópicos foram discutidos e construídos, na sua essência, por eles. As questões foram de múltipla escolha, havendo eventuais campos para complemento. A amostragem sobre os professores foi de 100%.

Como para cada aspecto existem perguntas, é natural a definição de escalas. Matthiensen (2011) indica a Escala Likert, que é um tipo de escala de respostas psicométricas amplamente utilizadas em questionários de pesquisa de opinião.

Para avaliar os aspectos condições de trabalho e aprendizado/ensino em sala de aula, adotou-se uma escala de cinco níveis: melhorou muito (valor 1,0), melhorou (valor 0,75), não mudou (valor 0,5), piorou (valor 0,25) e piorou muito (valor 0). Sobre o uso dos recursos audiovisuais em sala, uma escala de cinco níveis: concordo totalmente (valor 1,0), concordo parcialmente (valor 0,75), indiferente (valor 0,5), não concordo parcialmente (0,25) e não concordo totalmente (valor 0). Para o impacto na vida da comunidade, uma escala de cinco níveis: muito positivo (valor 1,0), positivo (valor 0,75), indiferente (valor 0,5), negativo (valor 0,25) e muito negativo (valor 0).

De acordo com Hora et al. (2010), para o tratamento de respostas em branco deve- se adotar um critério metodológico, como: substituir pelo valor zero, ignorar todas as respostas do entrevistado ou substituir as respostas em branco pela média dos valores respondidos no item. Dessa forma, para cada grupo de professores, montou-se uma matriz explicitando as respostas dos avaliados.

Ao calcular as médias e variâncias das matrizes, obtêm-se o α de Cronbach. Já a intensidade da correlação entre os itens (confiabilidade) pode ser testada com a eliminação de itens (perguntas) do questionário. Caso a eliminação do item faça o α aumentar de forma significativa, pode-se entender que este item não é tão relacionado com os outros. Isso se chama purificação de escala. Se houver diminuição de α, o item é altamente relacionado com os outros. Logo, o α determina como cada item interfere na sua confiabilidade. Hora et al. (2010) ressaltam que, no caso de purificação de escala, a nova matriz deverá ser validada e o

68

processo de avaliação de confiabilidade se repete até o ponto em que se estabilize, ou se alcance a confiabilidade desejada.