A aplicação do teste de placebos em covariadas é outra forma de testar nossa premissa de “suavidade” da evolução das variáveis de interesse ao redor do cutoff na ausência do tratamento. Uma forma de reforçar essa premissa é testar para a existência de efeito do tratamento (descontinuidade) em variáveis que não deveriam ser por ele afetadas. Para isso, utilizaremos os mesmos métodos aplicados em variáveis de interesse em seções anteriores para avaliar uma série de covariadas que são, em tese, imunes ao tratamento. Essas variáveis podem ser agrupadas em três grandes grupos: perfil racial das famílias, escolaridade dos pais e infraestrutura das escolas. Testamos, no total, 15 covariadas53.
Os resultados de algumas dessas estimações podem ser visualizados na Figura 13. Como se nota, não há evidência de descontinuidade significativa em nenhuma das covariadas. Os resultados completos desses testes de placebo podem ser conferidos na Tabela A.3 do Apêndice.
Adicionalmente, como vimos na seção 2.6.1, partimos do pressuposto que as escolas situadas ao redor do cutoff não diferem significativamente em termos de características observáveis e não-observáveis. Para avaliar essa premissa, conduzimos um teste de diferença de médias no grupo de escolas situados à esquerda e à direita do cutoff
para cada um dos intervalos arbitrariamente definidos - 5, 10 e 15. O objetivo é avaliar se as covariadas estão relativamente equilibradas nos dois grupos de escolas. As covariadas avaliadas foram as mesmas do teste de placebo. Os resultados podem ser observados na Tabela A.4 do Apêndice.
Como se nota, as covariadas apresentam diferenças significativas em toda a amostra, mas essas diferenças tendem a desaparecer à medida que diminuímos o intervalo de análise, o que reforça a ideia de uma distribuição aleatória do tratamento ao redor do cutoff. Nos dois intervalos mais curtos (5 e 10) praticamente não encontramos diferenças estatisticamente significativas entre as escolas antes e depois do cutoff, tanto para a base dos Anos Iniciais quanto para a base dos Anos Finais. Já o intervalo de 15 acaba por abarcar escolas distintas entre si em alguns aspectos, tais como o número de salas existentes e a escolaridade média dos pais dos alunos. Por essa razão, entendemos que o intervalo de 10 é o que melhor se adéqua ao nosso objetivo de nos manter tão perto quanto possível do cutoff, ao mesmo tempo em que permanecemos com um número razoável de observações para estimação e inferência.
Os testes conduzidos corroboram, assim, a validade da estratégia empírica adotada.
2.7 Estratégia Empírica Alternativa: Uma Estimação por
Diferenças-em-Diferenças
Metodologia
Uma limitação relevante da estimação por regressão descontínua diz respeito à validade externa. Isto é, o impacto estimado não é generalizável à todas escolas, mas restrito às escolas situadas ao redor do cutoff. Essa limitação ocorre em detrimento de um grande ganho em termos de validade interna. Isto porque a metodologia é bastante robusta no sentido de estimar a causalidade do programa nas escolas situadas nos intervalos definidos ao redor do cutoff.
Figura 13 - Efeitos Placebos do PME (testes em covariadas)
(a) Pais com Ensino Médio Completo – Anos Iniciais
(b) Número de Computadores na Escola - Anos Iniciais
(c) Estudantes que se declaram brancos - Anos Iniciais
Como forma de contornar essa limitação, tornando os resultados do artigo mais generalizável, complementaremos a estimação realizada nas seções anteriores com uma estratégia empírica baseada no método de diferenças-em-diferenças. De forma bastante simples, este método consiste em comparar amostras de escolas tratadas e não tratadas antes e depois da intervenção. A estratégia consiste em tirar “duas diferenças”: a diferenças nas médias da variável de interesse para os grupos de tratamento e controle antes do tratamento e a mesma diferença depois do tratamento. Dessa forma, esperamos controlar para a presença de fatores externos que podem afetar os dois grupos no período54.
Nota-se que, pelo método, construímos o contrafactual tendo por premissa o fato de que o viés de seleção não varia com o tempo. Trata-se de uma importante limitação dessa metodologia. Logo, vamos partir do pressuposto de que as mudanças na variável de interesse do grupo controle revele o que teria acontecido com o grupo tratado na ausência do tratamento:
! "#$− "
&$ '# = 0 = ! "#+− "&+ '# = 0 (4)
onde YT designa a variável de interesse para o grupo tratado, YC para o grupo controle
e T o status do tratamento.
Como no período 0 nenhum grupo foi tratado, temos que T0i=0 e Y0i= "&,+ para
todo i. O estimador de DD, que mede o impacto do tratamento nos tratados no período 1, é dado por:
DD=! "#$− "&$ '# = 1 − ! "#+ − "&+ '# = 0 = !(/#|'# = 1) (5)
O primeiro elemento do lado esquerdo da equação traz a diferença na variável de interesse para o grupo dos tratados antes ("&$) e depois ("#$) do tratamento; já o
segundo elemento, a diferença na variável de interesse para o grupo dos controles antes ("&+) e depois ("#+) do tratamento. O estimador de DD é, portanto, a diferença entre esses
dois elementos.
Como vimos, a técnica de diferença-em-diferença não controle para fatores que afetem de forma desigual os grupos de tratamento e controle. Para diminuir a
probabilidade de que isso ocorra, vamos combinar essa metodologia com a técnica de pareamento por escore de propensão - PSM. Essa técnica consiste em selecionar um conjunto de características observáveis e, a partir dessas características, encontrar para cada escola que participa do PME uma escola que não participa com características similares55.
Conforme destacam Hirano, Imbens, & Ridder (2003), o uso conjunto das duas técnicas possibilita a estimação de uma regressão ponderada pelo escore de propensão de cada unidade, corrigindo distorções do modelo DD. Dessa forma, controlamos para características observáveis com o PSM e para variáveis não observáveis invariantes no tempo utilizando a DD56.
A combinação das duas técnicas foi realizada em dois passos. Em primeiro lugar, realizamos o paramento com base em características das escolas antes do tratamento – utilizamos como base o ano de 2011. Utilizamos para o pareamento cerca de 40 variáveis divididas em quatro grandes grupos: características acadêmicas da escola, características físicas da escola, características socioeconômicas das famílias e características do município onde a escola está situada. Os resultados do pareamento pelo vizinho mais próximo podem ser consultados na Tabela A.557.
Como se nota, antes do pareamento, os grupos tratamento apresentavam diferenças estatisticamente significativas na grande maioria das características, o que indica as vantagens de se proceder o pareamento (do contrário, estaríamos comparando escolas bastante diferentes entre si). Após o pareamento, tanto para os Anos Iniciais quanto para os Anos Finais, não há nenhuma diferença significativa entre as escolas do grupo tratamento e as escolas do grupo controle pareado. Logo, o pareamento foi realizado com êxito.
55 Para a apresentação formal do método e sua aplicação, vide Rosenbaum & Rubin (1983).
56 Note que a combinação ainda possui limitações, uma vez que não é controla para características não
observadas que afetem desigualmente o grupo de tratamento e de controle. Contudo, o pareamento diminui a probabilidade de que isso ocorra, uma vez que cria um grupo controle com características bastante similares a do grupo tratamento.
Após o pareamento, aplicamos o método de diferenças-em-diferenças somente nas unidades pareadas.