Del sesgo de la encuesta CEP y de cómo analizar datos sesgados

Que la reciente encuesta CEP (ver aquí resultados) tiene sesgo en sus preguntas, y en particular en las de educación, es tan evidente que en menos de un día desde su presentación ha quedado, en cierta medida, establecido como un hecho.

El sesgo de las preguntas.

Y si alguien quisiera que esa percepción de sesgo se argumentara, bastaría con hacer notar que no es procedente hacer preguntas dónde a una opción se le da en la forma de pregunta una razón para elegirla y a la otra no. Es la forma más obvia de sesgo. Tampoco corresponde, en general, hacer preguntas cuyas alternativas no cubren todas las posibles respuestas.

Dados esos lineamientos generales preguntas y alternativas como las siguientes claramente no resultan preguntas aceptables (para decirlo de forma clara: son el tipo de preguntas que si las presentara un alumno en un curso de metodología harían que su trabajo fuera reprobado)

¿Qué le parece que los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños? Alternativas:

1. Le parece mal que se obtengan ganancias y debiera estar prohibido por completo
2. Le parece bien, siempre y cuando tengan un nivel educacional bueno y los padres estén informados

¿Cree Ud. que es bueno que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos, o Ud. cree que esto debiera estar prohibido? Alternativas:

1. Es bueno que  los padres puedan complementar el subsidio
2. Debiera estar prohibido que los padres puedan complementar el subsidio

A los sesgos de las preguntas hay que sumar los sesgos de la interpretación. Por ejemplo,  ayer 14 La Segunda tuvo como titular que el 63% apoyaba que el Gobierno negociara con la oposición. Lo que la población respondió fue: Me gustaría que se tratara de llegar a acuerdos entre las coaliciones políticas antes de la votación en el Congreso. Ahora bien, ¿es la oposición equivalente a lo anterior? (¿es la oposición, léase Alianza, la única coalición con la que hay que discutir?) Más aún, pensando en posibles interpretaciones políticas, eso no es necesariamente un apoyo a democracia de los acuerdos. Más aún, eligió en un 63% esa respuesta frente a la alternativa de ‘Me gustaría que se impusiera el programa de gobierno sin consideración de la minoría en el Congreso’.

O pensemos en preguntas específicas. Por ejemplo la pregunta sobre selección académica: ¿Está usted de acuerdo o en desacuerdo con que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión? Ahora bien el 54% está de acuerdo con ello. De eso no se sigue que en general estén de acuerdo con la selección académica -la pregunta ex profeso fue sobre liceos de excelencia. O la pregunta sobre si las universidades deben ser gratuitas para todos o sólo para estudiantes de menos recursos. Un 57% declaró que las universidades debieran ser gratuitas para quienes tienen menos recursos. Ahora bien, ¿quienes son, para la población, los estudiantes de menos recursos? No es claro que esa frase les diga lo mismo a quienes respondieron la encuesta que a la élite que lo interprete.

Quizás lo más central es lo siguiente: El rechazo a la reforma como presentada, y a sus principios, no es igual a la aceptación del status quo (o incluso, de preferir sólo cambios leves). Las personas pueden desear cambios muy importantes a pesar que no les convenza la reforma actual y sus parámetros.

¿Cómo se puede usar los datos del CEP?

Una vez establecido que las preguntas son sesgadas, ¿se sigue de ello que la información que entrega la encuesta no es usable? Creo que la respuesta a lo anterior es negativa, y que la información de la encuesta puede usarse con provecho.

Primero porque las respuestas a una pregunta de encuesta son, indefectiblemente, respuestas a una pregunta de encuesta. No hay tal cosa como la expresión de la opinión real de las personas a través de estas preguntas. Las personas siempre eligen entre alternativas ya dadas a una pregunta ya dada. Tampoco es que ello ‘distorsione’ la opinión, porque eso implicaría que hay tal cosa como una actitud establecida distinta del hecho de responder a cuestiones en una conversación. Si preguntadas de tal forma responden X y preguntadas de esta otra forma responden Y, ambos son datos importantes para entender el proceso social. Al fin y al cabo, en la vida social sucede que se nos plantean preguntas dadas con alternativas pre-existentes, y no por estar dadas dejan de tener efectos sociales reales. Luego, si bien las preguntas están mal planteadas representan un hecho real: Es lo que la gente piensa cuando se le presentan alternativas tan sesgadas como esas.

Segundo porque si uno tiene conciencia de lo anterior, entonces es posible interpretar mejor los resultados y efectivamente encontrar un mejor uso de ellos. En otras palabras, si en vez de hacer una lectura inmediata tomo en cuenta que estamos ante respuestas específicas dadas en una situación concreta los datos me permiten entender algo de lo que sucede en Chile. Los resultados de las preguntas son resultados ‘exactos’ a condición que los analicemos en lo que son exactos (como respuestas a esa pregunta), al salirnos de ello pierden esa ‘exactitud’.

Una vez dicho lo anterior, entonces ¿que nos dice la encuesta?

• Es un hecho real de la sociedad chilena que, presentadas alternativas sesgadas como lo hizo la encuesta, la mayoría de los chilenos rechaza eliminar la selección y el copago. Para todo aquél que le interese influenciar los términos del debate, eso es una información muy relevante.
• Es un hecho también que frente a alternativas y preguntas sesgadas entre un 35% y un 40% de la población responde en cada pregunta a favor de un cambio radical: Por ejemplo un 37% piensa que el copago debiera estar prohibido incluso sí se le dice que es para mejorar la educación de sus hijos. Ese es un núcleo duro.
• Es un hecho, anómalo en el contexto de la encuesta y en el contexto histórico de Chile, que un 41% de la población declare que ‘Es bueno que la educación sea entregada por el Estado solamente, para que todos reciban la misma educación’. Va en la misma lógica de un núcleo duro importante a favor de cambios muy radicales (de hecho, más radicales de lo que cualquiera ha planteado)
• Es un hecho que la respuesta de las persona varía de acuerdo a las consideraciones que se pongan explícitas. La situación de las dos preguntas de selección es interesante. El CEP (y esto es un acierto de la encuesta, reconozcamos lo que está bien hecho) diferenció la selección por proyecto educativo y la selección académica y encontró resultados dispares. La selección académica, si es que además se plantea en relación a liceos de excelencia, es aceptada (54%) pero en relación a proyecto educativo no es aceptada (55% en desacuerdo). Si la CEP hubiera hecho un juego similar en otras preguntas hubiera sido de interés.
• Es un hecho que las personas prefieren colegios de estatus socioeconómico similar: Prefiero que mis hijos vayan a colegios con sus ‘iguales’ a qué estén en colegios con ‘distintos’. Una posible interpretación es que el miedo a juntarse con ‘los de más abajo’ es mayor que la posibilidad de ‘mejora’ por compartir con ‘los de más arriba’. En una sociedad altamente segregada en general no es raro que eso se siga valorando en el colegio. Ahora bien, la pregunta es comparada (se realizó también el 2006, por lo que no es un problema de este cuestionario) y nos muestra una disminución leve de esa preferencia. Sí se quiere, ese es el núcleo duro contra la reforma (del mismo modo que ya vimos algo del núcleo duro a favor de cambios).

Para calibrar los datos sería bueno disponer de las bases (el CEP no las ha liberado al momento de escribir estas líneas) y quizás sería excelente poder disponer de una encuesta con el sesgo contrario: Que buscara respuestas pro-reforma. Al tener los efectos de dos sesgos distintos podemos calibrar la variación de las respuestas de acuerdo a las consideraciones que cada pregunta instala.