Capítulo 9. Aplicación de los cuestionarios
9.1. Validación del cuestionario
Previo a la aplicación del cuestionario se llevó a cabo el proceso de validación de contenido del instrumento.
Este proceso estuvo guiado por los planteamientos de Escobar-Pérez y Cuervo-Martínez (2008), quienes señalan la utilización de juicio de expertos para la validación de contenido, utilizándose este mecanismo para la validación instrumento construido desde los resultados cualitativos de la primera fase de la investigación.
La validación de contenido es un elemento relevante de la estimación de la validez de inferencias derivadas de los puntajes de las pruebas, puesto que otorga evidencia respecto de la validez de constructo y otorga una base para la construcción de maneras paralelas de una prueba en la evaluación de gran escala. En el juicio de expertos, el experto es entendido como una persona con experiencia en el área temática y que es reconocido por otros y calificado como experto en esa materia. Este enfoque es valioso, sin embargo, se debe tener en consideración sus limitaciones, particularmente si se les consulta por opiniones y juicios que no están directamente en su área de especialización, los expertos podrían ser influenciados por los prejuicios similares a los de las personas (Skjong y Wentworth, 2001). La validez de contenido, frecuentemente se realiza a través de un panel o por medio de un juicio de expertos y se focaliza en la relevancia del ítem para los objetivos y la representatividad en cada nivel de contenido. Los ítems se desarrollan y se seleccionan en cada área de contenido y ocasiones se utilizan calificaciones de congruencia, relevancia o ítem objetivo para evaluar de manera cuantitativa la validez (Ding y Hershberger, 2002).
Por consiguiente, con el fin de iniciar el proceso de validación del cuestionario se contó con la participación de 4 jueces expertos que cumplían con los siguientes perfiles:
Juez Experto 1: Ingeniero Estadístico, Magíster en Investigación Social. Profesional de la Unidad de Análisis Institucional de una universidad estatal del centro norte del país, encargada de la construcción de indicadores y seguimiento de los Convenios de Desempeño de su institución.
Juez Experto 2: Sociólogo, Magíster en Investigación Social, Académico de una universidad privada del sur del país, donde desarrolla labores de docencia en metodologías de la investigación tanto en pregrado como en postgrado. A pesar de no tener vinculación con los Convenios de Desempeño, es experta en construcción y validación de instrumentos cuantitativos.
123 Juez Experto 3: Doctor en Educación. Académico de universidad estatal del norte de Chile, con vasta trayectoria en investigación al liderar un número importante de proyectos Fondecyt regular en el ámbito de la Educación Superior y contar con un número relevante de publicaciones indexadas. Asimismo, cuenta con una trayectoria importante en gestión, ocupando cargos de alta dirección de relevancia nacional en organismos públicos del área de educación superior, así como también al interior de su universidad. Tiene un nivel alto de conocimiento de la política de financiamiento por desempeño en las universidades chilenas.
Juez Experto 4: Doctor en Educación. Académico de universidad estatal del norte de chile, con vasta trayectoria en investigación al liderar un número importante de proyectos Fondecyt regular en el ámbito de la Educación Superior y contar con un número relevante de publicaciones indexadas. Es miembro de grupo de estudio en educación de FONDECYT.
En este caso, el método utilizado es por agregados individuales, donde cada experto da una estimación directa en cada una de las tareas descritas, tratándose estadísticamente los datos recogidos (De Arquer, 1997).
Para el proceso de validación del instrumento se elaboró una rúbrica de evaluación (ver anexo 2), basada en los planteamientos de Escobar-Pérez y Cuervo-Martínez (2008), donde los criterios para realizar la evaluación del instrumento fueron: Suficiencia, Relevancia, Coherencia y Claridad, se acuerdo con el cuadro 8.
Cuadro 8. Aspectos para evaluar el instrumento
Aspecto para evaluar Definición
Suficiencia: Los ítems hacen referencia a una misma dimensión son suficientes para obtener
Relevancia: el ítem es importante, por tanto, debe ser incluido
EL ítem es importante, debe ser incluido El ítem es irrelevante, puede ser eliminado Coherencia: el ítem está relacionado de
manera consistente la con la dimensión que se está midiendo
A cada uno de los jueces se les pidió que evaluaran los ítems de cada dimensión según los criterios señalados anteriormente, utilizando para ello una escala de evaluación dicotómica referente a si cumple o no con cada uno de los criterios establecidos:
• Cumple con el criterio
124
• No cumple con el criterio
Cada una de estas categorías fue tratada como variable Dummy para proceder al análisis, donde 1 fue para “Cumple con el criterio” y 0 para “No cumple con el criterio”
9.1.1. Resultados de la validación de contenido
Como resultado del proceso de validación se obtuvieron los siguientes elementos:
EVALUACIÓN DE LA DIMENSIÓN POLÍTICA DE FINANCIAMIENTO
• Evaluación del criterio de relevancia de la dimensión Política de Financiamiento por Desempeño
El 100% de los Jueces expertos coinciden con que los ítems son relevantes para medir la dimensión. Esto se puede apreciar en la tabla 3:
Tabla 3. Relevancia de la dimensión política de financiamiento.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia
Juez 1 10 100% 0
Juez 2 10 100% 0
Juez 3 10 100% 0
Juez 4 10 100% 0
Fuente: Elaboración propia con software SPSS.
• Evaluación del criterio de Coherencia de la Política de Financiamiento por Desempeño
El 100% de los Jueces expertos coinciden con que los ítems son consistentes con la dimensión Política de Financiamiento por Desempeño, como se muestra en la tabla 4:
Tabla 4. Coherencia de la dimensión política de financiamiento.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia
Juez 1 10 100% 0
Juez 2 10 100% 0
Juez 3 10 100% 0
Juez 4 10 100% 0
Fuente: Elaboración propia con software SPSS.
• Evaluación del criterio de Claridad de la Política de Financiamiento por Desempeño
Los jueces expertos coinciden en su conjunto respecto a su juicio sobre la claridad de los ítems, como se adjunta en la tabla 5:
125 Tabla 5. Claridad de la dimensión política de financiamiento.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia
Juez 1 10 100% 0
Juez 2 10 100% 0
Juez 3 10 100% 0
Juez 4 10 100% 0
Fuente: Elaboración propia con software SPSS.
• Evaluación del criterio de Suficiencia en la dimensión Política de financiamiento por Desempeño
La totalidad de los jueces considera que los 10 ítems que forman parte de la dimensión Política de financiamiento por desempeño son suficientes para lograr medirla.
EVALUACIÓN DE LA DIMENSIÓN IMPLEMENTACIÓN DE CONVENIOS DE DESEMPEÑO
• Evaluación del criterio de relevancia dimensión Implementación de Convenios de Desempeño
El 100% de los Jueces expertos coinciden con que los 12 ítems que conforman esta dimensión son relevantes para medir la dimensión, tal como se aprecia en la tabla 6:
Tabla 6. Relevancia de la dimensión Implementación de Convenios de Desempeño.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia
Juez 1 12 100% 0
Juez 2 12 100% 0
Juez 3 12 100% 0
Juez 4 12 100% 0
Fuente: Elaboración propia con software SPSS.
• Evaluación del criterio de Coherencia dimensión Implementación de Convenios de Desempeño
La totalidad de los jueces expertos coincide con que los 12 ítems que forman parte de esta dimensión son coherentes, como se muestra en la tabla 7:
Tabla 7. Coherencia de la dimensión Implementación de Convenios de Desempeño.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia
Juez 1 12 100% 0
Juez 2 12 100% 0
Juez 3 12 100% 0
Juez 4 12 100% 0
Fuente: Elaboración propia con software SPSS.
• Evaluación del criterio de Claridad en la dimensión Implementación de Convenios de Desempeño
126 Se observa en las tablas de frecuencia una variación en los juicios efectuados por los jueces expertos respecto a la Claridad de los ítems que conforman la dimensión de Implementación de Convenios de Desempeño como se aprecia en la tabla 8:
Tabla 8. Claridad de la dimensión Implementación de Convenios de Desempeño.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia Porcentaje
Juez 1 11 91,7% 1 8,3%
Juez 2 12 100% 0 0%
Juez 3 12 100% 0 0%
Juez 4 12 100% 0 0%
Fuente: Elaboración propia con software SPSS.
Para definir si existen diferencias en las percepciones de los jueces respecto a la claridad de los ítems que conforman la dimensión de Implementación de Convenios de Desempeño, se lleva a cabo la prueba estadística Q de Cochran para determinar si existen diferencias significativas en el juicio de los expertos que evaluaron el cuestionario. La Q de Cochran es una prueba no paramétrica para la prueba de hipótesis de que diversas variables dicotómicas que están relacionadas entre sí tienen el mismo (Gómez-Gómez et al., 2003). Pone a prueba la hipótesis nula de que la proporción de éxitos es la misma en todos los grupos en comparación con la hipótesis alternativa de que la proporción es diferente en al menos uno de los grupos.
Se requiere los siguientes supuestos para su aplicación de acuerdo con Hintze (2007):
1. Las respuestas son binarias y de k muestras coincidentes.
2. Los sujetos son independientes entre sí, y se seleccionaron al azar de una población más grande.
3. El tamaño de la muestra es suficientemente grande. Como regla general el número de sujetos para los cuales las respuestas no son todas 0 y 1, debería ser ≥ 4 y nk debería ser ≥ 24.
En este caso se cumplen los 3 supuestos. Para este fin se trabajó con la siguiente prueba de hipótesis:
Hipótesis Nula:
No existen diferencias en el juicio realizado por los jueces expertos respecto a la Claridad de los ítems que forman parte de la dimensión Implementación de Convenios de Desempeño.
Hipótesis Alternativa:
Existen diferencias en el juicio realizado por los jueces expertos respecto a la Claridad de los ítems que forman parte de la dimensión Implementación de Convenios de Desempeño.
Prueba Q de Cochran
Tabla 9. Frecuencias de la dimensión Implementación de Convenios de Desempeño.
127 Valor
0 (No cumple con el criterio) 1 (Cumple con el criterio)
Juez1 1 11 hipótesis alternativa, ya que no existen diferencias significativas en el juicio realizado por los expertos con relación a la claridad de los ítems que forman parte de esta dimensión.
• Evaluación del criterio de Suficiencia en la dimensión Implementación de Convenios de Desempeño
La totalidad de los jueces considera que los 12 ítems que forman parte de la dimensión Implementación de Convenios de Desempeño son suficientes para lograr la medición de ésta.
EVALUACIÓN DE LA DIMENSIÓN IMPACTO DE LOS CONVENIOS DE DESEMPEÑO
• Evaluación del criterio de relevancia dimensión Impacto de los Convenios de Desempeño
Todos los jueces expertos coinciden en su juicio respecto a la relevancia de los ítems para medir la dimensión Impacto de los Convenios de Desempeño, tal y como se adjunta en la tabla 11:
Tabla 11. Relevancia dimensión Impacto de los Convenios de Desempeño.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia
Juez 1 15 100% 0
Juez 2 15 100% 0
Juez 3 15 100% 0
Juez 4 15 100% 0
Fuente: Elaboración propia con software SPSS.
• Evaluación del criterio de Coherencia dimensión Impacto de los Convenios de Desempeño
La totalidad de los jueces expertos coincide con que los ítems que forman parte de esta dimensión son coherentes, como se aprecia en la tabla 12:
128 Tabla 12. Coherencia dimensión Impacto de los Convenios de Desempeño.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia
Juez 1 15 100% 0
Juez 2 15 100% 0
Juez 3 15 100% 0
Juez 4 15 100% 0
Fuente: Elaboración propia con software SPSS.
• Evaluación del criterio de Claridad dimensión Impacto de los Convenios de Desempeño
Se observa en la siguiente tabla una diferencia en los juicios de los evaluadores sobre la Claridad de los ítems que forman parte de la dimensión Impacto de los Convenios de Desempeño.
Tabla 13. Claridad dimensión Impacto de los Convenios de Desempeño.
Cumple con el criterio No cumple con el criterio
Juez Frecuencia Porcentaje Frecuencia Porcentaje
Juez 1 13 86,7% 2 13,3%
Juez 2 13 86,7% 2 13,3%
Juez 3 15 100% 0 0%
Juez 4 15 100% 0 0%
Fuente: Elaboración propia con software SPSS.
Se realiza la prueba estadística Q de Cochran para determinar si existen diferencias significativas en el juicio de los expertos que evaluaron el cuestionario siguiendo la siguiente prueba de hipótesis:
Hipótesis Nula:
No existen diferencias en el juicio realizado por los jueces expertos respecto a la Claridad de los ítems que forman parte de la dimensión Impacto de los Convenios de Desempeño.
Hipótesis Alternativa:
Existen diferencias en el juicio realizado por los jueces expertos respecto a la Claridad de los ítems que forman parte de la dimensión Impacto de los Convenios de Desempeño.
Prueba Q de Cochran
Tabla 14. Frecuencia dimensión Impacto de los Convenios de Desempeño.
Valor
0 (No cumple con el criterio) 1 (Cumple con el criterio)
Juez1 2 13
Juez2 2 13
Juez3 0 15
Juez4 0 15
Fuente: Elaboración propia con software SPSS.
129 Tabla 15. Estadísticos de contraste dimensión Impacto de los Convenios de Desempeño.
N 15
Q de Cochran 4.000a
Gl 3
Sig. asintót. .261
a. 1 se trata como un éxito.
Fuente: Elaboración propia con software SPSS.
De acuerdo con los resultados observados en la prueba Q de Cochran, se rechaza la hipótesis alternativa, ya que no existen diferencias significativas en el juicio realizado por los expertos con relación a la claridad de los ítems que forman parte de esta dimensión.
• Evaluación del criterio de Suficiencia en la dimensión Impacto de los Convenios de Desempeño
La totalidad de los jueces considera que los 15 ítems que forman parte de la dimensión Impacto de los convenios de desempeño son suficientes para lograr medir la dimensión.