Encerrada a aplicação, organizamos os materiais em envelopes. Cada um correspondia a uma escola e continha os TCLEs; os instrumentos respondidos pelo(s) OP(s) e professore(s); um registro sobre a quantia de OPs e professores da instituição; e a quantia de participantes da pesquisa. Na sequência, demos início ao processo de tratamento dos dados para a realização da AFE.
A AFE é útil quando se utiliza uma escala com alta quantia de itens, os quais pretendem medir personalidade, estilos de comportamento ou atitudes (LAROS, 2005). Segundo Laros (2005, p. 167), a AFE “pode proporcionar valiosas informações sobre a estrutura multivariada de um instrumento de mensuração, identificando os constructos teóricos”. Para tanto, é preciso considerar o princípio da parcimônia, o qual estabelece que “um grande número de variáveis observadas pode ser explicado por um número menor de variáveis hipotéticas, não observadas” (LAROS, 2005, p. 164). Ao serem relacionadas entre si, as variáveis hipotéticas agrupam-se e compõem as dimensões que o instrumento se propôs a medir.
Dessa forma, a fim de encontrar tais dimensões, iniciamos a busca pela relação entre as variáveis, ou seja, entre os itens que compõem o instrumento. Para tanto, utilizamos o conjunto das respostas dadas tanto por professores como por OPs, uma vez que os itens por eles respondidos são iguais e, portanto, possibilitam o agrupamento em dimensões.
Na primeira etapa, as respostas foram codificadas e digitadas em uma planilha do Excel, discriminando-as por segmento (OPs e professores de 2os, 5os e 9os anos). Em seguida, por meio dos recursos estatísticos do programa computacional PASW, versão 18, da SPSS120 Inc., realizamos uma análise descritiva das variáveis quanto à frequência das respostas obtidas, de modo a identificar se havia algum item autoevidente, ou seja, com mais
de 90% apontando para uma mesma resposta (DALBEN, 2014). Na AFE, é desejável considerar a variabilidade das respostas, pois possibilita identificar a correlação entre os itens, “ainda que, do ponto de vista educativo, todas as informações, mesmo as que se caracterizem por uma constante, sejam relevantes” (FACCENDA; DALBEN; FREITAS, 2011, p. 251). Na análise descritiva, verificamos diversidade nas respostas e, desse modo, nenhum item foi excluído, ao ser utilizado esse critério.
Na segunda etapa, também no SPSS, efetuamos o cálculo do Alpha de Cronbach, que possibilita avaliar a confiabilidade do instrumento. O Alfa de Cronbach “avalia a consistência interna da escala e se refere a variabilidade dos itens de um teste, ou seja, se um item mede determinado aspecto do construto” (ASSIS et al., 2005, p. 110). Seu coeficiente é apresentado em um intervalo de 0 a 1. De acordo com Faccenda, Dalben e Freitas (2011), baseados em Hair et al. (2009), 0,7 é o coeficiente mínimo para que o instrumento seja considerado fiável.
Ao efetuar um primeiro cálculo do Alpha de Conbrach, encontramos um coeficiente alto (0,923). Esse resultado foi inesperado, pois a inversão e a exclusão de itens, por vezes necessária para a AFE, ainda não haviam sido realizadas. No entanto, somente 30 participantes foram considerados nesse cálculo, já que os demais não responderam a um ou mais itens do instrumento.
Desse modo, foram excluídos os itens com alta porcentagem de respostas em branco ou assinalados como “Não se Aplica”, para que uma quantia maior de participantes fosse considerada no cálculo da confiabilidade no instrumento. Dentre as respostas dadas por OPs e professores, há homogeneização quando o item foi respondido por mais de 75% dos respondentes. Assim, optamos por excluir aqueles que não foram respondidos por uma quantia inferior a essa taxa. O Quadro 9 apresenta os itens excluídos.
Quadro 9 – Itens com menos de 75% das respostas em branco ou assinalados como “não se aplica” Item
Excluído
Descrição do Item Geral
(%) Ops (%) Profs. 2o ano (%) Profs. 5o ano (%) Profs. 9o ano (%)
26 Os conteúdos abordados em sala de aula foram avaliados pela Prova Campinas
43,1 25 49,2 40 40 12 Os resultados das avaliações externas são
utilizados pelo supervisor educacional para acompanhar minha escola
40 27,5 45,9 38 38
39 Os resultados da Prova Campinas foram discutidos com os pais, para além daqueles que participam da CPA e Conselho de Escola
39 27,5 41 36 36
31 Os resultados da Prova Campinas são utilizados para orientação das práticas pedagógicas da minha escola
35 A escola desenvolve outros trabalhos coletivos relacionados à AIP, além da CPA
33,8 20 39,3 44 44 17 Os resultados da Prova Campinas têm
influência no ensino da minha escola
32,3 17,5 39,3 32 32 40 Os resultados da Provinha Brasil são
discutidos com os pais, para além daqueles que participam da CPA e Conselho de Escola
27,7 22,5 13,1 28 28
13 O CP utiliza os resultados das avaliações externas para acompanhar os dados das escolas
26,2 15 31,1 26 26
03 Os resultados da Provinha Brasil são mais utilizados por minha escola do que os resultados da Prova Brasil
25,1 10 31,1 26 26
16 A SME usa os resultados das avaliações externas para incentivar as escolas com alto desempenho a melhorar ainda mais o seu trabalho
24,6 22,5 32,8 18 18
46 A constituição da CPA se dá pela obrigatoriedade da resolução
24,1 15 29,5 28 28 38 Os resultados da Prova Brasil são discutidos
com os pais, para além daqueles que participam da CPA e Conselho de Escola
21,5 20 34,4 18 18
25 Os conteúdos abordados em sala de aula são avaliados pela Provinha Brasil
20 10 6,6 16 16
14 A SME usa os resultados das avaliações externas para incentivar as escolas com baixo desempenho a melhorar o trabalho que realizam
20 17,5 27,9 18 18
15 O Ideb é utilizado pela SME para responsabilizar as escolas municipais pelos resultados obtidos
19,5 15 29,5 20 20
29 Os resultados da Provinha Brasil são utilizados para orientação das práticas pedagógicas da minha escola
17,4 10 6,6 16 16
Fonte: Elaborado pela pesquisadora.
Apesar da necessidade de excluir, para a AFE, devido à quantidade de respostas em branco, ou assinalados como “Não se Aplica”, esses itens podem ser analisados, em momentos ou pesquisas posteriores, a partir da frequência das respostas. Assim, a possibilidade de analisá-los separadamente trouxe tranquilidade em eliminá-los da atual etapa do estudo. Sobre as escolhas a serem feitas durante o processo de exclusão dos itens, Faccenda, Dalben e Freitas (2011) ressaltam a importância do olhar do pesquisador, mesmo fazendo uso dos testes estatísticos e com seus critérios bem delineados. Desse modo, há certa “subjetividade na organização das variáveis que entram em um estudo” (FACCENDA; DALBEN; FREITAS, 2011, p. 252-253), como ocorreu ao serem eliminados itens apenas para a AFE.
Após a exclusão dos 16 itens, ficaram somente dois itens relacionados à AIP, os itens 22 (Em minha escola há CPA, porém não ocorre o trabalho coletivo) e 23 (A CPA pode ser considerada consolidada sem ter todos os segmentos escolares representados). Como os
itens referidos não se relacionam ao constructo que os demais itens medem, ou seja, as percepções e usos das avaliações externas em larga escala na RMEC, resolvemos eliminá-los, também, desse momento.
Com os itens restantes, novamente foi feito o cálculo do Alpha de Cronbrach e obtivemos um coeficiente de 0,822, com 61 respondentes considerados, ou seja, apesar de obtido um coeficiente menor, dobrou a quantia de participantes que constituiu o cálculo, trazendo fiabilidade.
A terceira etapa foi dedicada à inversão dos 15 itens construídos com orientação negativa. De acordo com Laros (2005), a inversão dos itens facilita a interpretação das dimensões. Todavia, diferentemente do que imaginávamos quando elaboramos o instrumento, ao processar novamente os dados, verificamos que apenas dois itens foram vistos como negativos pelos respondentes. Dessa forma, somente foram invertidos os itens que constam do Quadro 10.
Quadro 10 - Itens invertidos que, na percepção dos sujeitos, representam aspectos negativos
Item Descrição
9 Os resultados da Prova Brasil são irrelevantes para que a SME acompanhe cada escola 10 Os resultados da Provinha Brasil são irrelevantes para que a SME acompanhe cada escola Fonte: Elaborado pela pesquisadora.
Tomadas as decisões, um primeiro estudo da AFE foi feito pelo método dos Componentes Principais – com rotação ortogonal Varimax121 – cujo objetivo é reduzir os
dados e “descobrir ponderações ótimas para as variáveis mensuradas, de forma que um grande conjunto de variáveis possa ser reduzido a um conjunto menor de índices sumários que tenham máxima variabilidade e fidedignidade” (LAROS, 2005, p. 167).
A AFE agrupa os itens em dimensões de modo que “haja a maior correlação possível entre os itens de um mesmo fator e ao mesmo tempo se garanta a menor correlação possível entre os diferentes fatores” (DALBEN, 2014, p. 93). Para tanto, no estudo, utilizamos a medida de adequação da amostragem de Kaiser-Meyer-Olkin (KMO) e o teste de esfericidade de Bartlett. Sobre essas medidas, Dalben (2014, p. 93) esclarece:
Os valores do KMO oscilam entre 0 e 1, mas são desejáveis os valores mais próximos de 1, tendo 0,5 como limite mínimo de adequabilidade. Para uma
121 Segundo Laros (2005, p. 185), o procedimento de rotação ortogonal Varimax está entre os mais utilizados. De
acordo com o autor, o objetivo é “maximizar a variância das cargas fatoriais para cada fator por meio do aumento das cargas altas e a diminuição das cargas baixas”.
interpretação mais detalhada, Hair et al. (2009, p. 110) apresenta a seguinte escala de interpretabilidade: no intervalo de 0 a 0,40, inadequado; 0,50 a 0,59, ruim; 0,60 a 0,69, fraco; 0,70 a 0,79, mediano; 0,80 e 0,89, bom e entre 0,90 e 1,0, excelente. […]A avaliação da qualidade das correlações é feita pelo teste de esfericidade de Bartlett, que verifica se há correlação entre os fatores. Neste teste, valores menores que 0,05 indicam que o processo de AFE é adequado.
Na Tabela 3, constam os valores do KMO e do teste de esfericidade de Bartlett obtidos na AFE.
Tabela 3 - Valores do KMO e do teste de Bartlett obtidos na AFE
Kaiser-Meyer-Olkin Measure of Sampling Adequacy. ,765 Bartlett's Test of Sphericity Approx. Chi-Square 1506,422
Df 378
Sig. ,000
Fonte: Elaborada pela pesquisadora.
Como se observa, o valor do KMO (0,765) indica que os fatores apresentam adequação mediana do constructo. Já no teste de esfericidade, obtivemos um valor muito próximo ao zero, ou seja, nosso processo de AFE está adequado.
Como os testes de KMO e Bartlett indicaram a possibilidade de extração das dimensões para os itens da escala obtida, demos início à AFE. No primeiro estudo, foram encontradas oito dimensões e três itens foram apontados como carga cruzada – os itens 4 (Os resultados da Provinha Brasil, mesmo sendo aplicada e corrigida pelos próprios professores, são confiáveis), 20 (A escola avança em seu Ideb quando há avanço na qualidade do trabalho realizado pela escola) e 24 (Os conteúdos abordados em sala de aula são abordados pela Prova Brasil) – como apresentado na Tabela 4.
Tabela 4 - Resultados da primeira AFE
Componentes 1 1 2 3 4 5 6 7 8 It36 ,811 ,144 ,139 -,027 ,122 ,076 -,005 -,012 It43 ,782 ,067 ,160 ,104 -,095 ,116 ,207 -,033 It32 ,769 ,066 -,044 ,012 ,079 ,177 ,054 ,047 It30 ,739 ,125 ,121 ,098 ,043 ,097 ,086 ,172 It42 ,708 -,192 ,090 -,109 -,201 ,158 ,256 -,065 It11 ,698 ,289 ,024 -,024 ,074 -,018 -,193 -,135 It37 ,625 ,206 -,006 -,001 ,241 -,187 ,270 ,116 It06 ,076 ,846 ,175 ,108 ,047 -,001 ,005 ,019 It05 ,226 ,839 ,044 ,088 ,012 ,026 ,115 -,047 It04 ,178 ,443 ,336 -,174 -,309 ,039 ,006 -,061
It24 ,117 ,405 ,280 ,017 -,368 ,091 ,237 ,198 It01 ,120 ,005 ,782 -,063 ,025 ,200 ,089 -,098 It02 -,048 ,230 ,660 ,301 -,095 -,008 -,165 ,016 It07 ,071 ,316 ,598 ,286 ,092 -,010 ,089 -,113 It21 ,361 ,133 ,525 ,029 ,281 -,134 -,052 ,129 It09i ,033 ,078 ,128 ,885 -,070 ,021 -,126 -,023 It10i ,001 ,099 ,060 ,872 -,132 -,029 -,031 -,036 It41 ,207 ,031 -,057 -,071 ,687 ,064 ,111 -,036 It28 -,124 -,035 ,066 -,074 ,540 ,178 ,174 ,215 It27 ,027 -,045 ,325 -,258 ,495 -,197 -,050 -,096 It20 ,234 ,350 ,305 ,074 ,354 ,034 -,077 ,078 It33 ,451 -,070 ,181 -,019 ,157 ,719 -,024 -,074 It34 ,380 ,046 ,146 ,180 ,148 ,713 ,063 ,082 It08 -,202 ,157 -,267 -,199 -,232 ,497 -,147 -,075 It44 ,184 ,117 -,042 -,033 ,071 -,041 ,810 ,094 It45 ,181 ,017 ,051 -,178 ,438 ,006 ,551 -,188 It19 ,106 -,066 -,018 ,012 -,005 ,006 ,073 ,856 It18 -,089 ,151 -,173 -,479 ,089 -,090 -,150 ,563
Fonte: Elaborada pela pesquisadora. Nota: It = item
De acordo com Dalben (2014, p. 264), a carga cruzada pode ocorrer quando os enunciados dos itens conduzem a interpretações diferentes entre os respondentes, causando “uma correlação inter-itens semelhante nos diferentes fatores do constructo”. Ainda segundo o autor, um item possui carga cruzada quando apresenta carga fatorial igual ou superior a 0,32 e quando a diferença entre as cargas é menor que 0,15 (DALBEN, 2014).
Eliminados os itens com carga cruzada, na quarta etapa deste estudo, realizamos uma nova AFE, na qual, mais uma vez, obtivemos oito dimensões. Na fase de construção do instrumento, após a elaboração dos itens, quatro dimensões foram concebidas a partir da problemática do estudo. Como tais dimensões não foram construídas segundo teorias ou pesquisas anteriores com composição de subescalas acerca da problemática investigada (LAROS, 2005) e, ainda, duas delas continham maior quantia de itens, era esperado obter, por meio da AFE, uma quantidade de dimensões diferente daquela prevista.
Assim, para explorar as possibilidades de composição das dimensões com diferentes variáveis, novos estudos da AFE foram feitos, contemplando de oito a quatro dimensões, com o objetivo de observar a relação entre os itens, a partir da quantia de dimensões solicitada. Esses vários exercícios estatísticos foram realizados com o objetivo de
[...] conseguir uma estrutura fatorial simples. Uma estrutura simples é alcançada quando cada variável, preferencialmente, tem uma única carga alta em um único fator. Em outras palavras, uma estrutura fatorial simples existe quando cada variável
tem uma carga principal em um único fator (LAROS, 2005, p. 184).
Ao observarmos o modo como os itens se agruparam, conforme a definição de uma quantia prévia de dimensões, notamos que, no primeiro estudo da AFE, contendo oito dimensões, as variáveis possuíam a carga principal em um único fator. Como explica Laros (2005, p. 185), “a carga fatorial indica, em porcentagem, quanta covariância existe entre o fator e o item. O valor da carga fatorial varia entre -1,00 e +1,00, sendo que um valor de 0 indica a total ausência de covariância entre a variável e o fator”. Ainda segundo o autor, as cargas fatoriais consideradas significativas excedem o valor de 0,30 (LAROS, 2005). Em nosso estudo, a carga principal em cada uma das dimensões variou entre 0,719 e 0,893.
No entanto, na sexta dimensão, o item 8 (Mesmo quando a escola apresenta retrocessos em seus resultados das avaliações externas, pode estar realizando um bom trabalho), apesar de estar agrupado com os itens 33 (As famílias são informadas sobre os resultados obtidos nas avaliações externas) e 34 (Os alunos são informados sobre os resultados obtidos nas avaliações externas), não apresentava relação conceitual. Desse modo, optamos por excluir tal item que, por sua vez, possui menor carga fatorial da dimensão (item 8, carga fatorial 0,531; item 33, carga fatorial 0,719; item 34, carga fatorial 0,710). O procedimento é possível pois, como esclarece Dalben (2014, p. 91-92),
É importante registrar que o processo de análise fatorial, apesar de se apoiar em testes estatísticos e em critérios bem delineados, não apresenta uma solução única ao pesquisador. Por isso, a AFE deve ser tomada como ferramenta cujo uso deve associar critérios semânticos e conceituais a resultados de testes estatísticos inerentes ao processo. Ou seja, a realização do trabalho deve apoiar-se no princípio da interpretabilidade (quando o pesquisador, de forma subjetiva, agrupa os itens em um constructo e decide sobre quais e quantos fatores deverão compô-lo e no princípio da parcimônia (que busca explicar as correlações entre as variáveis observadas com o menor número de fatores possível). Há, portanto, certo grau de subjetividade na organização das variáveis que entram em um estudo, o que nem sempre é percebido e se encontra detalhadamente descrito neste trabalho (grifos do original).
As dimensões 3, 4, 6, 7 e 8, por sua vez, foram compostas por duas variáveis, ou seja, dois itens. Sabemos que, quanto maior a quantidade de itens em uma dimensão, maior a confiabilidade do instrumento, entretanto, como destacam Worthington e Whittaker (2006
apud DALBEN, 2014, p. 92) “é possível manter um fator com apenas dois itens, desde que
estes sejam altamente correlacionados entre si (isto é, r > 0,70) e tenham baixa correlação com os outros fatores”. A Tabela 5 aponta os resultados da correlação entre os itens das referidas dimensões.
Tabela 5 - Correlação entre os itens das dimensões 3, 4, 6, 7 e 8
Dimensão Correlação entre os Itens Dimensão Correlação entre os Itens
3 0,848 7 0,362
4 0,814 8 0,325
6 0,700
Fonte: Elaborada pela pesquisadora.
Como se observa, a correlação entre os itens das dimensões 7 e 8 não atingiu o valor mínimo apontado por Worthington e Whittaker (2006 apud DALBEN, 2014). Isso significa que tais dimensões são frágeis e não representam a realidade com a fidelidade desejada. Desse modo, em nossas análises, das dimensões compostas por dois itens, foram consideradas apenas as dimensões 3, 4 e 6.
Por fim, realizamos o processo de denominação de cada dimensão, considerando, para tanto, os itens que as constituem. Segundo Laros (2005), a variável com maior carga fatorial melhor representa a dimensão e, portanto, deve ser privilegiada em sua nomeação. A Quadro 11 apresenta as dimensões encontradas, com os itens que as constituem e suas respectivas cargas fatoriais.
Quadro 11 - Dimensões e os itens que as constituem
DIMENSÃO 1: Utilização dos resultados das avaliações externas em larga escala no planejamento da escola
Item Carga Fatorial Descrição
36 0, 823 Os dados das avaliações externas são utilizados no planejamento das diversas atividades desenvolvidas pela escola
32 0, 779 Os resultados das avaliações externas são discutidos nos TDCs
43 0,773 Os resultados das avaliações externas são utilizados na elaboração do PP 30 0,756 Os resultados da Prova Brasil são utilizados para orientação das práticas
pedagógicas da minha escola
11 0,710 Minha escola utiliza os resultados das avaliações externas no planejamento de suas ações
42 0,688 Os resultados das avaliações externas são discutidos em coletivos, como CPA ou Conselho de Escola
37 0,604 A escola realiza atividades valorizando conteúdos de Língua Portuguesa e Matemática devido às exigências nas avaliações externas
DIMENSÃO 2: Avaliações externas em larga escala e a qualidade da escola
Item Carga Fatorial Descrição
1 0,787 Os resultados das avaliações externas de desempenho dos estudantes traduzem a qualidade do trabalho realizado pela escola
2 0,686 Os resultados das avaliações externas são um dos elementos que devem ser analisados no debate acerca da qualidade escolar
7 0,606 Os resultados das avaliações externas precisam ser considerados na avaliação institucional da escola
21 0,580 As ações realizadas pela SME com base nos resultados das avaliações externas são importantes para a melhoria da qualidade do ensino.
DIMENSÃO 3: Percepções da escola quanto ao uso dos resultados das avaliações externas em larga escala pela SME
Item Carga Fatorial Descrição
10 0,893 Os resultados da Provinha Brasil são irrelevantes para que a SME acompanhe cada escola
9 0,875 Os resultados da Prova Brasil são irrelevantes para que a SME acompanhe cada escola
DIMENSÃO 4: Relação entre os saberes dos alunos e os conteúdos abordados pelas avaliações externas em larga escala
Item Carga Fatorial Descrição
6 0,863 Os saberes dos alunos em Matemática estão contemplados nos descritores usados nas avaliações externas
5 0,844 Os saberes dos alunos em Língua Portuguesa estão contemplados nos descritores usados
DIMENSÃO 5: A soberania das avaliações externas em larga escala na escola
Item Carga Fatorial Descrição
28 0,725 Os resultados das avaliações externas são considerados pela escola como único indicador que traduz sua realidade
41 0,673 A escola realiza a avaliação institucional apenas com base nos resultados das avaliações externas
27 0,523 A qualidade da educação seria melhor se os professores recebessem bônus pelos resultados obtidos nas avaliações externas
DIMENSÃO 6: Comunicação dos resultados das avaliações externas em larga escala para famílias e estudantes
Item Carga Fatorial Descrição
33 0,719 As famílias são informadas sobre os resultados obtidos nas avaliações externas
34 0,710 Os alunos são informados sobre os resultados obtidos nas avaliações externas
Fonte: Elaborado pela pesquisadora.
Com as dimensões estabelecidas, calculamos o valor de cada uma delas para cada escola participante de nossa pesquisa. Para tanto, também no SPSS, foi feita a “média aritmética simples dos valores que constam em cada um dos itens que compõem” cada dimensão (FACCENDA; DALBEN; FREITAS, 2011, p. 252). Tal cálculo possibilitou aferir a percepção e o uso dos resultados das avaliações externas em larga escala por escola e enquanto rede de ensino, a partir das respostas de OPs e professores.