Etiqueta: encuestas

No comments

El fin de la legitimidad. Chile 2020

  By ,

Sobre la legitimidad pueden decirse muchas cosas. Me referiré a sólo una de ellas: Una de las cosas que hace la legitimidad es permitir que el orden social se reproduzca sin violencia física. Podemos decir, como parte importante de la tradición sociológica, que ello es violencia simbólica, enfatizando el carácter de dominación de las instituciones y la legitimidad como ilusión ideológica. El caso es que incluso bajo esa idea, que es la mirada más negativa sobre el tema, nos ahorra el uso de la fuerza.

Es por ello que una situación de pérdida de legitimidad es crítica, puesto que entonces nos dirige a una situación donde es la fuerza y la violencia directa la que dirime las cosas.

Y el caso es que Chile se encuentra en una situación donde se pueden observar grietas fuertes en la legitimidad. Con ello no me refiero solamente al hecho que las instituciones no son creíbles, ello ya se sabía desde hace varios años, pero las instituciones y sus adláteres se habían encargado de no darle importancia. Me refiero a que ya las creencias básicas que facilitan su operar están en riesgo. Bien puedo pensar que la institución X no es creíble, o que no cumple lo que supuestamente debiera hacer, pero todavía puedo pensar que hay que seguir lo que ella dice o, por último, aceptar ese poder.

Datos de encuestas recientes muestran que hay elementos basales de las instituciones que ya no pueden darse por descontado. La última CEP nos muestra que un 57% de la población estima que casi nunca o nunca se justifica que Carabineros use la fuerza contra un manifestante violento (ver link aquí). En otras palabras, el Estado ya no tiene el monopolio de la violencia legítima (sigue teniendo operativamente grados importantes de control de violencia efectiva, pero es de la legitimidad de que estamos hablando), cuando la mayoría de la población le niega a la fuerza pública del Estado legitimidad para operar con violencia frente a la violencia eso es lo que está en juego. La reciente encuesta UDP sobre Juventud, Participación y Medios nos dice que un 19% de los jóvenes está de acuerdo con incendiar cuarteles militares o las estaciones de metro realizadas en el contexto de las manifestaciones iniciadas en octubre (link aquí). Son cifras minoritarias, pero cuando alrededor de uno de cada cinco jóvenes declara su acuerdo con los actos mencionados nuevamente la legitimidad de las instituciones, la existencia de ese monopolio de la violencia legítima es lo que está en juego.

Podemos observar que ya existen en la práctica de la vida social ciertas operaciones cuya realización no puede darse por descontada. La realización de la PSU efectivamente ya ha tenido contratiempos, y no sabemos que ocurrirá este lunes 27 y 28. El sistema para establecer los precios del metro ya está desactivado en la práctica (no pueden realizarse las decisiones de los sistemas institucionalizados).

En general, todavía no se ha alcanzado el momento más crítico. En general todavía las instrucciones y órdenes que dan las instituciones se realizan. La pérdida de legitimidad está produciendo que las reservas de buena voluntad para que ellas ocurran se pierden y tenga que recurrirse a la violencia y a la coacción. Pero ello es, finalmente, desgastante. Y en última instancia hay que recordar que estamos ante procesos: que ese ‘todavía’ puede dejar de serlo; que hay un momento en que la máquina institucional deja de funcionar, cuando el que recibe la instrucción asume que no tiene por qué cumplirla y no recibe castigo por ello (que es lo que ocurre en las revoluciones al fin y al cabo).

Dada esa situación de pérdida de legitimidad, y de los efectos de ello, se pueden observar intentos de re-legitimación, precisamente para recrear esa ilusión que permite a las instituciones actuar y ejercer sin recurrir a su ultima ratio, que es la fuerza. El llamado a una nueva constitución, en particular a la generación de un proceso constituyente, es una de ellas -el intento de construir instituciones que se legitimen a través de un proceso en que participe buena parte de quienes habitan estas tierras, y que por lo tanto legitimen el resultado.

El caso es que, en realidad, no sabemos qué es lo que -en las condiciones actuales- puede producir y regenerar legitimidad. Cuando los mecanismos tradicionales de legitimidad dejan de operar no es fácil determinar que puede construir nuevamente legitimidad. Para usar un ejemplo de mayor alcance histórico (probablemente) que la situación actual: Cuando se dejó de pensar que los reyes gobernaban en virtud de un mandato divino o cuando la mera tradición dejó de tener peso, ni se pudo volver a lo anterior (como atestiguan todos los fracasos en América Latina en reconstruir monarquías, el único éxito fue Brasil, que -crucialmente- no dejó de ser monarquía) ni tampoco fue simple construir nuevas instituciones legítimas.

En la vida social, como en todas las cosas, es válido aquello que es más simple que algo deje de existir que crear algo nuevo. Por otra parte, difícil o no, con los tiempos que se tomen, al final se crean nuevas legitimidades. Otra cosa es que esas nuevas legitimidades sean las que se desean, pero ellas existirán.

No comments

La Particularidad de las Encuestas Electorales

  By , ,

El miércoles 13 de este mes, el Colegio de Sociólogos tuvo a bien realizar un Panel sobre Encuestas Políticas. En la discusión, a propósito de la diferencia entre encuestas de opinión y encuestas electorales, mencioné como comentario una vieja idea de Jesús Ibáñez: Que la encuesta y la elección son actividades homólogas: En ambos casos se realiza la misma operación (se realiza una selección entre varias alternativas pre-determinadas); y que ello constituye, al final de cuentas, una ventaja de la encuesta electoral sobre otras -donde ello no ocurre.

A propósito de lo anterior, Bernardo Mackenna -que exponía como panelista- hizo el comentario que la encuesta electoral no era la única que tenía un baremo externo. Se puede comparar los ingresos que se obtienen en la CASEN con los datos del Banco Central, se puede comparar los datos de las Encuesta Nacional de Seguridad Ciudadana con las estadísticas de delitos. Y sin embargo, pareciera ser que sólo a las encuestas electorales se les pide una corrección tan precisa.

Creo que a partir de esa discusión se puede perfilar mejor la particularidad de la encuesta electoral -y por qué es, finalmente, muy razonable que a ellas les pidamos una exigencia de corrección tan alta. Volvamos a la observación inicial. Ella no es que hay baremo externo, es que la operación de responder una encuesta y de votar en una elección son la misma operación. Entonces, es claro que ello no ocurre en los otros casos.

En las encuestas de actitud simplemente porque claramente la actitud o creencia que uno tiene no es -para nada- equivalente al responder una encuesta. La respuesta de la encuesta está siempre alejada, no puede corresponder exactamente, a lo que se quiere medir. Hay una distancia infranqueable. No por eso dejan de ser útiles las encuestas de opinión, pero esa utilidad se construye a través de esa distancia.

En el caso de otras encuestas de comportamientos es cierto que, en principio, hay una ‘respuesta correcta’ que es posible determinar. Existe tal cosa como los ingresos de una persona, y ello puede decirse. Sin embargo, sigue siendo cierto que la operación de recibir un ingreso (o la situación de sufrir un delito) no son equivalentes a la de una votación: Recibir un sueldo no es seleccionar una alternativa de un listado, tampoco lo es el realizar un trabajo o el ser asaltado. La distancia aquí no es infranqueable, pero dependiendo de la situación la pregunta y la realidad tienen distancia. Es cosa de pensar en todas las dificultades que existen en lo relativo a poder determinar el ingreso del hogar (es cosa de revisar el cuestionario de la CASEN y observar todas las operaciones que requiere una persona para seleccionar una respuesta). El mapeo de lo real y el mapeo de la encuesta no son idénticos. Más aún, el baremo externo a su vez es distinta de la realidad que queremos investigar: Los ingresos que reciben las personas no son las cuentas nacionales (hay ingreso que no aparece en ellos), los delitos que efectivamente suceden no son equivalentes a las denuncias (hay delitos que no se denuncian, hay denuncias que no siempre corresponden a un delito). Si bien en principio es posible realizar una prueba de realidad, ella es manifiestamente compleja.

El caso de la encuesta electoral es, entonces, claramente más sencillo. Seleccionar al candidato X de una lista de posibles candidatos es la misma operación que realizo al votar. Por cierto, la medición no es trivial ni transparente, pero la cercanía estructural de las operaciones facilita la resolución de esos temas (en última instancia, es tan equivalente que el CEP puede, simplemente, hacer encuesta con voto en urna). Más aún, aquí la prueba de realidad es perfecta: El conteo de votos es el resultado de la votación (mientras que las cuentas nacionales no son el ingreso nacional). La encuesta electoral, que tiene sus propios problemas, tiene bastante menos problemas de validez de medición y una prueba de corrección que, al ser más precisa, permite un mejor ajuste.

Ahora bien, ese permite un mejor ajuste, se traduce en un ‘se demanda mejor ajuste’. Es razonable suponer que la CASEN no de lo mismo que las cuentas nacionales (y en los tiempos en que se ajustaban los ingresos declarados de la CASEN con dichas cuentas, había cambios relevantes). La dificultad de medir el ingreso, y el hecho que las cuentas nacionales no sean la realidad a medir, tiene esa consecuencia. Pero dado que en la encuesta electoral hay menores dificultades, y la realidad es perfectamente conocida, es razonable que se pida mayor precisión y se tengan mayores exigencias en la medición.

En algún sentido, hasta pocos años atrás la encuesta electoral en Chile era un asunto relativamente sencillo. Ahora, debido a diversos cambios (que, por cierto, tampoco está claro en concreto que está detrás de los problemas recientes), esa medición se ha vuelto más compleja. Y, sin embargo, sigue siendo algo menos complejo que lo que el INE debe resolver con empleo, el MDS para medir pobreza y uno puede continuar con otros casos. Y si, en última instancia, esos otros problemas han podido ser resueltos (al menos, se puede entregar una medición que tenga algún sentido y validez), entonces uno debiera esperar que ello también ocurriera con las encuestas electorales.

No comments

Las Encuestas Electorales se equivocaron (pero no todas, y no todos reaccionan igual)

  By , ,

Habíamos dicho en varias ocasiones anteriores (para que no digan que se es general después de la batalla) que había problemas con las encuestas: Que no era claro que estuviera bien analizado lo de votante probable, las tasas de rechazo (aquí link), que las primarias habían mostrado varias sorpresas (aquí link). Más en general, habíamos enfatizado el hecho que los métodos han de articularse con la realidad social que estudian, su validez depende del estado de esa realidad (link)

Los resultados del 19 de Noviembre mostraron eso con claridad. La Radio de la Universidad de Chile tuvo a bien mostrar un cuadro que es bastante claro.

encuestas-620x147

Las principales encuestas tuvieron varios errores importantes para Piñera (10 puntos en varios casos) y Sánchez (12 a 6 puntos), y con una fuerte subestimación de Kast. Más aún, la impresión general -de una votación muy alta de Piñera, de importantes diferencias entre Guillier y Sánchez- resultó claramente errada.

Ahora bien, ¿eso implica que hay un problema de mala fe? ¿Las encuestas de derecha nos engañaron? Y no. CERC que no es de derecha estuvo entre las encuestas con más problemas. UDD-El Mercurio -que la gente que usa esa interpretación diría que es de derecha- estuvo bastante bien.

¿Se equivocaron todas las encuestas? ¿No sirven para nada? Tanto Criteria como UDD obtuvieron estimaciones que resultaron bastante decentes. En general, las encuestas no se equivocaron con Guiller (sólo CERC), y nadie le otorgó muchos votos a Goic (que también era de quien criticaba antes a las encuestas). Adimark, entre las grandes, tuvo los menores errores con Piñera y Sánchez (y dejó de hacer encuestas antes que las otras).

En otras palabras, hay problemas importantes que resolver (¿cómo se calcula votante probable?); pero no todos se equivocaron.

Aquí es importante hacer dos precisiones cruciales. Una de actitud y otra metodológica.

Partamos con la actitud de la reacción. He aquí Mackenna del CEP en Twitter hoy

Captura_CEP

Para ver otra reacción,Izikson de CADEM a través de la misma red social:

Captura_Cadem

Entre Mackenna e Izkinson está la diferencia entre la seriedad y el burlarse de la población. Entre quien de verdad se cree que las cosas hay que hacerlas bien y quien le da lo mismo. La diferencia entre el mínimo profesionalismo y el vendedor de humo.

Una encuesta es, al final, un instrumento cuantitativo, lo mínimo es que vaya más allá del al orden. La impresión que deja una encuesta no es sólo un tema de orden. Un error de 10 puntos no es un tema de ‘hacer más precisas las estimaciones’.

Al fin y al cabo, basados en resultados electorales y analizar políticamente es posible estimar mejor. En mi oficina se hizo el ejercicio de apuesta en intentar predecir el número de votos de Piñera. Los datos que usamos para ello fueron (a) cuantas personas votaron 1a vuelta el 2013, (b) votación primaria derecha 2017, (c) votación Evelyn Matthei en 2a vuelta el 2013. Basado en ello, el promedio de la oficina fueron 2.6 millones de votos, concentradas las opciones entre 2,3 y 2,5 millones (el nivel mínimo de votación derecha es lo que obtuvo Matthei en 2a vuelta el 2013 y de ahí puede sacar más porque es candidato más fuerte). Los outliers pensaron en 3 millones porque siguieron más bien a las encuestas. Esto es importante porque el mismo Izkinson ha retrucado al hecho de sólo dieron al orden con que ese orden sólo parece obvio dadas las encuestas. Sin ellas también es posible obtener estimaciones.

Luego, una buena encuesta necesita entregar algo más que un buen resultado al bulto. En particular, una buena encuesta electoral.

El segundo tema es metodológico. Es sabido que la encuesta CADEM no cumple con ningún requisito metodológico mínimo. Usar encuestas en punto de afluencia para una encuesta política es impresentable (y de nuevo, eso es sabido y ya había sido dicho en este blog ya el 2015). Y sin embargo, se usaban -no sólo los medios, incluso Kenneth Bunker -que desarrolla en TresQuintos predicciones bayesianas- los usaba. Izkinson realizó varias defensas de su método. Esto es incluso peor porque otras encuestas (Criteria por ejemplo, que recordamos ahora porque sus resultados fueron relativamente decentes) fueron vapuleadas por usar un Panel Online -el mismo Bunker en Twitter las declaró impresentables. Lo que aparecía como mostrando su clara inutilidad era la alta votación de Bea Sánchez. Es bien inconsistente declarar inusable una metodología problemática mientras al mismo tiempo aceptar otra.

Recordemos que los paneles online tienen problemas -el sesgo no se soluciona automáticamente a través de ponderadores. Sin embargo, han sido usados en otros contextos (y en algunos estudios de forma bastante exitosa con muestras claramente sesgadas -hay un estudio del 2015 con usuarios de Xbox que entrega buenos resultados para la encuesta norteamericana, link aquí). Incluso en el caso chileno, aparte de Criteria otras encuestas usando paneles (privadas) dieron resultados razonables. Sabemos que las metodologías tradicionales tienen problemas (tasas de respuesta por ejemplo), y luego hay que probar nuevas metodologías en el contexto actual. Ahora bien, para hacer esas pruebas resulta necesario hacer las cosas con seriedad y cuidado.

Y bien sabemos que seriedad y cuidado no es lo que caracteriza a la encuesta CADEM. Problemas con encuestas hay, fallos los habrá; pero lo mínimo es reconocerlos para poder solucionarlos. Salir defendiendo lo indefendible muestra que no hay mucho interés de hacer las cosas bien. Si de esta debacle al menos se logra que no sea aceptable hacer cualquier cosa, algo se podrá obtener en limpio.

No comments

¿Por qué se siguen usando las encuestas políticas?

  By , ,

La pregunta del título puede sólo merecer una respuesta rápida y obvia: Porque se necesita algo de información, y ese tipo de información sólo la pueden entregar las encuestas. Lo cual es válido, pero sigue dejando abierta la pregunta de los usos. En otras palabras, ¿cuanta confianza podemos tener en sus resultados? Y dado ello, ¿qué es lo que se puede hacer con ellas?

Ahora bien, sabemos -puesto que ya hemos tenido una elección relativamente masiva- que las encuestas tienen serios problemas. Demos por ciertas todas las prevenciones que hacían (o podían hacer) de quienes hacían encuestas en ese momento: Que no eran encuestas electorales, que claramente no estaban preguntando por voto de primaria, que la primaria no es la presidencial, que no se podían usar para predecir. Sin embargo, uno podría suponer que al menos debieran haber estado en las principales tendencias.

El caso es que no lo estuvieron. De los principales resultados sólo que Piñera estaría primero, y con distancia importante, era algo que ya estaba en las encuestas. Pero, ¿había alguna encuesta que diera que Ossandón tendría algo menos de la mitad de la votación de Piñera? ¿Existió alguna encuesta que nos dijera que Ossandón obtendría una votación similar a la totalidad del Frente Amplio? Repito: No estoy pidiendo que las encuestas dieran numéricamente cerca de los resultados (no he nombrado ningún porcentaje para el caso), sólo que estuvieran cerca de las principales tendencias.

Elecciones Primarias de Julio y Encuestas 

Candidato Primarias (2 Julio) Adimark (Junio) Cadem (30 Junio) CEP (Abril-Mayo)
Piñera 47,4 57,4 45,8 69,1
Ossandón 21,3 7,4 14,6 15,7
Kast 12,5 5,6 10,4 0,9
Total CHV 81,2 70,4 70,8 85,7
Sánchez 12,7 24,1 22,9 14,0
Mayol 6,1 5,6 6,3 0,3
Total FA 18,8 29,7 29,2 14,3

NOTA: Los porcentajes están calculados en torno a lo que sumaban los cinco candidatos en la primaria, no en relación con la población general, para hacerlos comparables.

Y si en ese caso no estuvieron ni cerca, ¿por qué debiéramos pensar que están cerca ahora? Y nuevamente, no estamos hablando de un tema de puntos más o puntos menos, sino de las grandes tendencias.

Cuando recordamos lo endeble que son las bases metodológicas de varias encuestas. No estará de más recordar que no todas las encuestas de las que se habla y discute cumplen siquiera con representar todo el territorio; lo que no deja de ser relevante cuando la conducta electoral difiere entre los diversos territorios. Pensemos que la encuesta CEP -aunque la más lejana de la votación, y por lo tanto con casi nula presencia de Mayol o Kast (que se levantan más bien posteriormente)- es la que mejor apuntó a la votación de Sánchez. Precisamente el hecho de ser encuesta nacional permite eso, al salir de  espacios donde Sánchez le fue mejor (más urbanos por ejemplo).

Podemos seguir: También podemos recordar que dado que estamos ante voto voluntario se necesitan modelos de predicción de voto, y que no tenemos -hasta donde llega mi conocimiento- estudios que muestren que los modelos pensados y aplicados al respecto efectivamente funcionan en Chile (creo que sólo Mori intentó hacer ello). Al fin y al cabo, en Chile no se usan mucho las encuestas a salida de urna porque esa herramienta, de uso común en tantas partes, tuvo un fracaso estrepitoso cuando se intentó aplicar en Chile.

Es cierto, por otra parte, que no tenemos otras fuentes, y que no queda más que usar la información que se tiene. Lo que se requiere es usarlas con circunspección. Pero, al mismo tiempo, cuando se las usa de ese modo, ¿cuánto es lo que efectivamente aportan? El dato que es claro en todas las encuestas, y que podemos dar por cierto, es que Piñera es el candidato en primer lugar, y a distancia del resto, pero ¿necesitamos las encuestas para saber ello?

La utilidad de las encuestas, al final, depende de la respuesta a esa pregunta. Yo tengo la impresión que para ese tipo de resultado basta con vivir en la sociedad; pero conociendo, al mismo tiempo, la facilidad con que las personas se engañan sobre estos temas, quizás sí -incluso ese tipo de resultado general ya sea lo suficientemente valioso.

NOTA FINAL: Es cierto que esta entrada se podría haber hecho bastantes meses antes, pero en fin, la vida y todo eso no siempre permite escribir cuando uno primero lo había pensado. Sería más adecuado probablemente analizar la última CEP, al menos sería más atingente, pero mejor tarde que nunca supongo.

One Comment

La dificultad de las encuestas políticas en el año 2017

  By , ,

Las encuestas se encuentran en una situación que es digna de nota: Sabemos que en los últimos años han encontrado grandes dificultades para dar cuenta de la realidad (Brexit, el plebiscito colombiano, no cuento la elección de EE.UU, porque en ese caso las nacionales sí estuvieron cerca de la distribución del voto). Y, al mismo tiempo que todos sabemos eso, seguimos usándolas para calibrar la situación electoral e incluso siguen siendo usadas para la definición de candidatos. A falta de otras fuentes de información, se usan las que se tienen; incluso si todos pensamos que no son buenas.

Lo cual nos lleva a dos puntos. El primero es que entonces el uso de las encuestas es frágil. Basta con que alguien diseñe otra forma de acercarse a la realidad que dé resultados cuantitativos (y la encuesta es una forma, pero no necesariamente la única) y bien podrían dejar de hacerse. La segunda es que, mientras se realicen encuestas, entonces hay que preocuparse de resolver sus problemas.

En el caso chileno en particular hay dos fenómenos relevantes:

(1) El primero es que estamos ante elecciones con votos voluntarios. Hasta donde yo sé, no hay un modelo claro de cómo identificar a votantes probables. Cada quien, creo, lo hace como puede; pero falta un protocolo claro y público de que cosas hay que hacer para identificarlos. Y esta falta claramente afecta la utilidad de las encuestas políticas.

(2) Hay un creciente rechazo a contestar encuestas políticas y preguntas de índole política en encuestas. Y como todo el mundo sabe, una alta tasa de atrición dificulta cualquier operación: El valor de tener altos n baja, la posibilidad de solucionar problemas de sesgo vía ponderación también se vuelve problemático.

Uno podría pensar que estos dos problemas podrían cancelarse entre sí: Que justo la población con mayor propensión a no contestar es la con menor propensión a votar. Y si esto fuera así, entonces ‘sin hacer nada’ las encuestas todavía serían útiles. Ahora bien, eso habría que observarlo.

Lo importante en esta discusión es observar que, con relación a estas encuestas -que no dejan de ser parte importante del uso público de nuestra disciplina. hay bastante investigación metodológica a realizar.

3 Comments

De las encuestas en el contexto actual. O cómo las técnicas siempre dependen de los contextos sociales

  By ,

Entre todas las sorpresas que para muchos trajo el 2016 ha aparecido una regularidad: El fracaso predictivo de las encuestas. O al menos eso se ha dicho en torno al Brexit, al plebiscito colombiano, también en torno a las encuestas de la municipal, y finalmente también se ha repetido ello con relación a la reciente presidencial en EE.UU. Se podría plantear que dicho fracaso ha sido exagerado: Las encuestas Brexit indicaban un resultado parejo, en el caso de EE.UU las encuestas nacionales predecían que Clinton obtendría más votos que Trump, y así sucedió (estando la diferencia en el margen de error). Sin embargo, serían defensas débiles.

Porque el caso es que a partir de las encuestas se construyeron expectativas, y ello sin falsear los datos. Los agregadores de encuestas, y recordemos que el mero ejercicio de agregar en principio debiera aumentar la precisión, indicaban ciertos resultados. Hay algo entonces más complejo de fondo.

Si nos remitimos a la realidad chilena nos encontramos con una serie de asuntos en la investigación de encuestas que requieren, al menos, un examen. Por un lado, las encuestas cara-a-cara cada día más se encuentran con problemas de tasa de respuesta, y ni el mejor procedimiento de selección garantiza resultados confiables si la tasa de respuesta es baja. Por otro lado, las telefónicas se enfrentan al hecho que cada año disminuyen los hogares con teléfono fijo, y los teléfonos celulares no hay forma de controlar quienes están detrás de los números (i.e la relación entre números y personas nos es 1 a 1). En el caso de las Online, se ha expandido la idea de contar con un pool de entrevistados a partir de los cuales seleccionar (más o menos aleatoriamente), aunque no conozco mucho que la adecuación de dichos pools esté muy garantizada.

En otras palabras, el contexto social de las encuestas ha cambiado, y el mismo procedimiento que años atrás permitía conocer la realidad no lo permite en la actualidad. Un recordatorio sencillo que los métodos y las técnicas no caen del cielo ni son cosas puras, sino que dependen de la realidad que examinan. Y que cuando la realidad se modifica, entonces no queda más que cambiar las formas de acercarse a ella.

¿Cuáles? Existe la tentación de, dada la gran expansión de datos sobre la realidad social, entonces olvidarnos de este extraño asunto de preguntarle a las personas lo que opinan y lo que hacen y remitirnos a lo que realmente hacen. Dos problemas. Uno es relativamente menor -que no todos participan de aquellos instrumentos que generan datos de conducta. Pero eso es cosa de no olvidar ello, pero de esos universos acotados de los cuales pueden hablar efectivamente lo hacen con gran confiabilidad. El segundo es realmente el clave: Porque es fácil olvidar que de la conducta no se pueden derivar opiniones. La idea que la conducta es la preferencia revelada ilumina cosas, a condición de no olvidar lo que no debe olvidarse: Que no siempre aprobamos nuestra conducta, que el nivel de agrado de nuestra selección es variable; que el arrepentirse, que el protegerse de uno mismo, son situaciones reales que tienen consecuencias, y si alguien lo olvidara no estaría de más que revisara Ulises y las Sirenas de Elster.

En el período del cenit de las encuestas, muchas veces ellas parecían ser el paradigma del buen conocimiento. Ahora es claro que no lo son. Será perdonable la esperanza que, aprendiendo de nuestros errores, no caigamos de nuevo en la idea que hay cierta técnica infalible que nos asegura conocer bien el mundo. Aprender del mundo no es algo que se pueda realizar repitiendo recetas, y ella es la primera lección de metodología que un sociólogo debiera aprender.

No comments

Mayor seriedad. A propósito de las encuestas CADEM-Plaza Pública.

  By , ,

Desde hace un buen tiempo las encuestas de CADEM Plaza Pública se han transformado en parte de la agenda de medios (son publicadas y usadas). Un tracking semanal de opinión pública tiene su utilidad bien se puede pensar.

Ahora bien, en la sección de metodología -que hay que reconocer CADEM pone al inicio de sus informes, así que nadie puede reclamar que no le dijeron al menos- se dice lo siguiente sobre la muestra (luego de decirnos que usan dos técnicas para producir la información)

Para las entrevistas a través de teléfono fijo el muestreo fue probabilístico, a partir de BBDD con cobertura nacional, propias de CADEM, y dentro del hogar, la selección de los sujetos se hizo por cuotas de sexo, edad y NSE (Alto C1-C2; Medio C3; Bajo D/E).

Para las entrevistas cara a cara en punto fijo con tablet se pre-definieron cuotas para comunas específicas en la Región Metropolitana, Valparaíso y Biobío, además de sexo, edad y GSE (ABC1 y D/E) como complemento al muestreo del teléfono fijo.

Y sobre el tamaño de la muestra:

711 casos. 508 entrevistas fueron aplicadas telefónicamente y 203 entrevistas cara a cara en puntos de afluencia. Margen de error de +/- 3,7 puntos porcentuales al 95% de confianza.

A decir verdad, no funciona. Tiene sentido complementar teléfono fijo (dado el hecho que su cobertura no sólo es baja sino que disminuye, y además no sólo está sesgada por GSE sino además por edad, los hogares más jóvenes tienden a tener menos teléfono fijo). Pero las entrevistas en punto fijo no son un método que permita controlar sesgo alguno, por la simple y sencilla razón que es una técnica que no tiene ningún tipo de control. Siquiera atreverse a poner un margen de error en esas circunstancias es algo inválido.

Se puede plantear que hay excusas: No es posible suponer que un tracking semanal tenga los estándares de otros estudios, que la información que entrega no es tan descabellada. Y si uno está con ánimo magnánimo, incluso podría llegar a escucharlas. Pero sigue siendo cierto que son estudios que no cumplen estándar alguno. Sigue siendo cierto, además, que los estudios de encuestas se usan por las cifras exactas que entregan: No necesitamos un estudio para saber, por ejemplo, que la popularidad del gobierno ha caído; lo que no sabemos, y sería interesante saber, es cuanto -precisamente la razón por la cual se hacen encuestas. Pero el número es lo que no podemos usar de las encuestas CADEM Plaza Pública.

En otras palabras, necesitamos exigir y hacer las cosas con una mínima seriedad.

No comments

Comparando Encuestas. CEP (Julio 2014) y UDP (Sept-Oct 2014) en Educación.

  By , ,

Una de las consecuencias positivas de que existan varias encuestas es la posibilidad de comparar sus resultados. Y como el tema de educación se ha tomado buena parte de la agenda pública en los últimos meses, algo de utilidad tendrá el ejercicio de comparar resultados en torno a esas preguntas.

Hace algunos meses atrás el CEP publicó resultados de preguntas de educación que fueron bastante discutidos por sesgados, y que también tratamos en este blog (link aquí y aquí). Recientemente el ICSO de la UDP publicó su encuesta regular de opinión pública, que también trataba el tema. Ahora bien, los resultados de la CEP daban la impresión de un fuerte rechazo a las reformas de educación, mientras que lo que mostraría la encuesta de UDP sería, en principio, lo contrario a ello. ¿Son las impresiones de disparidad ciertas? De serlo, ¿que nos indican sobre las encuestas y sobre lo que se puede interpretar de ellas?

Partamos con los datos generales de cada encuesta (resumidos en la siguiente tabla). En el caso de la CEP se ha mezclado elementos de la pregunta y de la respuesta para poder resumir la información -dado que en ella ambos elementos son significativos. La encuesta UDP, en general, tiene formas simples de respuesta (acuerdo o desacuerdo) con lo que la simple presentación de la pregunta es suficiente.

Ítem Porcentaje
Aprobación a que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos? (CEP Julio) 52
Aprobación los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños siempre y cuando tengan un buen nivel y los padres estén informados (CEP Julio) 49
Aprobación que los colegios religiosos tengan un proceso de admisión que verifique si las familias están comprometidas con el proyecto educativo y los valores del colegio (CEP Julio) 37
Aprobación que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión (CEP Julio) 54
Aprobación que la Educación sea entregada por el Estado solamente, para que todos reciban la misma educación (CEP Julio) 41
Importancia terminar con el lucro en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,94
Importancia terminar con el copago en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,63
Importancia terminar con la selección de estudiantes en educación media, escala 1-7 (UDP Septiembre-Octubre) 5,55
Los colegios particular-subvencionados debieran pasar a ser del Estado (UDP Septiembre-Octubre) 57
No debiera haber colegios particulares pagados, sino que sólo colegios públicos (UDP Septiembre-Octubre) 49
Todas las universidades privadas debieran pasar a ser del Estado (UDP Septiembre-Octubre) 60

Lo primero es que en realidad no hay demasiada diferencia. Las preguntas donde se manifestaba opinión anti-reforma en la CEP no son las que hace el UDP. La pregunta de importancia de la UDP no es una pregunta de adhesión finalmente (‘es muy importante y es muy mala’ no es una respuesta contradictoria). Lo único que ambas preguntan es sobre el tema del rol del Estado y aunque hay diferencias, ambas básicamente dicen lo mismo: Un porcentaje muy alto de la población plantea que el Estado debiera hacerse cargo de toda la educación. Una cifra muy alta para un país que tiene provisión mixta de hace más de un siglo y donde ese tema, de hecho, no está entre lo que las reformas proponen.

¿Qué es lo que pasa?

Por un lado es posible insistir en el tema del sesgo. La comparación entre las preguntas UDP (que son más sencillas) y las CEP (que son más complejas, integran más de una consideración) es, en general, favorable a la UDP. Por lo menos son más simples de interpretar. Sin embargo, como ya hicimos mención en su oportunidad, lo del sesgo no es un tema tan central -el dato de todas formas es usable si se lo interpreta adecuadamente.

Lo que nos gustaría insistir es más bien otra cosa. Una persona tiene sobre un determinado tema múltiples consideraciones (piensa varias cosas). Cuando ellas están alineadas y se refuerzan el efecto de una pregunta es más débil en general (i.e si uno es consistentemente anti-X, no importa como se haga la pregunta uno responderá anti-X). Pero sí estas consideraciones no están tan alineadas, y hay algunas que impelen a pensar de determinada forma y otras que impelen a pensar de otra forma, entonces sí se producen efectos de preguntas (i.e si la pregunta me hace pensar en A, entonces respondo pro-X; si la pregunta me hace pensar en B, entonces respondo anti-X). Ahora bien, no hay pregunta que pueda evitar hacer pensar en alguna consideración y no hay pregunta que pueda hacer pensar en todas las consideraciones (Todo esto resumiendo algunas ideas que están en Tourangeau et al, The Psychology of Survey Response, que es un libro algo viejo -es del 2000- pero creo todavía es interesante y útil).

Pensemos, entonces, en nuestro caso. Podemos decir lo siguiente: Hablar que el Estado se haga cargo de colegios puede hacer pensar en las personas (es una hipótesis pero creo razonable explorarla) en la vieja educación fiscal, que tengo la impresión es relativamente bien vista. Luego, si se me hace pensar en ello, tenderé a estar de acuerdo con cambios ‘estatalizantes’. Hablar sobre copago para mejorar me hace pensar en las razones por las cuales pago ese copago (o me gustaría hacerlo si pudiera) y por lo tanto me hace pensar en oponerse a esos cambios. Lo importante es enfatizar que, si estamos en lo correcto, estas diferencias no son formas de falsear la realidad, corresponden a lo que ocurre en la realidad.

Reflejarían que en relación a la Educación, los chilenos y chilenas tienen múltiples ideas, que todavía no terminan de cristalizar. En otras palabras, que están pensando en ello. Esto puede ser un problema para quienes nos dedicamos a investigar y encuestar dicha opinión, pero no deja de ser algo positivo en términos de deliberación pública.

One Comment

Las asociaciones de las visiones sobre Educación

  By , ,

La anterior entrada mostraba la existencia de algunas visiones sobre educación (ver aquí) y finalizaba planteando que en una siguiente entrada se analizarían cruces de esas visiones. Bueno, esta es la entrada dedicada a ello.

El análisis de la entrada anterior se estructuraba en dos partes. En primer lugar, se analizaba cada una de las escalas construidas por separado (la escala pro-reforma y la escala anti-reforma). Luego, para disminuir complejidad se realizaron algunas clasificaciones. Seguiremos aquí ese esquema.

Las relaciones de las escalas.

En primer lugar analizaremos las relaciones de las escalas con otras preguntas. Para hacer más compacta la presentación del cruce, los dos cruces paralelos se han mostrado en una sola tabla (i.e el cruce de la escala pro-reforma y el cruce de la escala anti-reforma con la variable en cuestión), y para simplificar la presentación se ha usado sólo una respuesta de la variable en cuestión (la que mejor ilustre la relación en cuestión). Los porcentajes son siempre porcentajes de fila. Cuando la relación es significativa está marcado en negrita.

A igual costo de matrícula y similar distancia, ¿Ud. preferiría una escuela o liceo municipal o un colegio particular subvencionado? (% que responde Escuela o Liceo Municipal)

Valor Escala Pro-Reforma Escala Anti-Reforma
0 25 53
1 31 40
2 29 29
3 44 30
4 60 21
Total 35 35

Si recordamos que la escala pro-reforma cuenta el número de ocasiones en que la persona respondió la la alternativa a favor de la reforma, y que la escala anti-reforma cuenta el número de ocasiones en que la persona respondió la alternativa en contra de ella, podemos decir lo siguiente en relación a la preferencia por liceos municipales. Las personas que tienden a manifestarse a favor de la reforma prefieren más los liceos municipales (60% de quienes respondieron en las 4 ocasiones por la reforma así lo hicieron contra un 25% de quienes no respondieron en ocasión alguna por la reforma). Al mismo tiempo, lo contrario ocurre en la escala anti-reforma (donde pasa de un 53% de preferencia por liceo municipal entre quienes nunca rechazaron a un 21% entre quienes rechazaron siempre la reforma). Las dos relaciones son importantes y además son las esperables: La preferencia por la educación pública está asociada a preferir la reforma.

¿Que su hijo/a vaya a una la escuela básica, liceo municipal o colegio donde los alumnos tengan un nivel socioeconómico parejo y parecido al suyo o que su hijo/a vaya a una escuela básica, liceo municipal o colegio donde los alumnos tengan niveles socioeconómicos distintos

Valor Escala Pro-Reforma (% que responde bien diverso) Escala Anti-Reforma (% que responde parejo)
0 21 57
1 30 59
2 31 63
3 37 64
4 33 70
Total 30 63

Cuando pasamos a la discutida pregunta por segregación nos encontramos también con las direcciones esperadas, y de un carácter relevante. En todo caso, la alternativa que mejor ilustra el carácter de la relación varía entre las escalas: Para la escala pro-reforma es la preferencia por diversidad la más clara: Que pasa de un 21% a un 33% al moverse desde quienes nunca aceptan la reforma a quienes siempre la aceptan. Para la escala anti-reforma es la preferencia por niveles parejos la que mejor muestra (que pasa de un 59% a un 70%). En todo caso, asociación o no, no hay grupo donde exista una preferencia clara por diversidad -el grupo que siempre acepta la reforma sólo tiene esa preferencia en un 33%.

¿Cuál de estas dos afirmaciones se acerca más a lo que ud. piensa? Preferencia por educación sólo entregada por estado o que hayan muchos colegios para que la gente elija (% que prefiere educación sólo estatal)

Valor Escala Pro-Reforma Escala Anti-Reforma
0 21 58
1 35 49
2 40 39
3 56 33
4 73 24
Total 41 41

Una de las afirmaciones más claras donde se puede diferenciar las visiones sobre la educación es en términos de la preferencia por sólo educación estatal o por tener muchos colegios para poder elegir. Aunque no son afirmaciones que estrictamente sean contrarias, si muestran las concepciones que aparecen en la discusión pública de manera muy clara y fuerzan a una elección. Ahora bien, encontramos también que es una pregunta que tiene una relación muy evidente con las escalas: Quienes tienen una alta preferencia por la reforma tienden claramente a elegir educación sólo estatal (71% de quienes siempre respondieron a favor de la reforma eligen sólo educación estatal), mientras quienes rechazan claramente la reforma no eligen esa alternativa (un 24% de quienes siempre rechazan la reforma elige sólo educación estatal). La educación estatal (pública) está asociada a la reforma.

En todas las preguntas sobre educación podemos observar que se dan relaciones relevantes con las escalas, y además en las direcciones esperadas. Lo cual nos da una conclusión sobre la validez de la preguntas: Aunque las preguntas sean sesgadas, muestran una realidad subyacente. Aunque los porcentajes estén sesgados hacia la contra-reforma, las respuestas arman un conjunto coherente. Lo que viene, finalmente, a refrendar la idea que si bien la encuesta es sesgada, es usable (que era el punto de la primera entrada sobre este tema).

 

Ahora bien, para finalizar los cruces sobre educación, y para mostrar ahora que hay cosas no esperables, ¿cuál es la relación entre nuestras escalas y el hecho de tener o no tener hijos en edad escolar?

¿Tiene Ud. hijos en edad escolar, esto es, hijo/s que están actualmente en un establecimiento educacional? (% que responde sí)

Valor Escala Pro-Reforma Escala Anti-Reforma
0 40 35
1 39 37
2 36 34
3 40 43
4 41 48
Total 39 39

Y aquí encontramos que si bien el apoyo a la reforma no se ve afectada por el hecho de tener o no hijos en edad escolar (en todos los niveles de apoyo el porcentaje es cercano al 39% de toda la población); pero el rechazo a la reforma sí está afectado por ello: Un 48% de quienes eligieron la afirmación contra-reforma en todas las preguntas sí tiene hijos contra un 35% de quienes nunca eligieron la afirmación contra-reforma. El tener hijos impacta en rechazar, pero no en el aceptar, la reforma. Esta diferencia nos hace ver, por un lado, la relevancia de haber diferenciado las dos escalas y, por otro lado, que la intensidad del rechazo está más concentrado en ciertos grupos (mientras que la aceptación está más diluida).

Lo anterior -que la escala de aceptación no está asociada, pero sí la de rechazo- sucede en otras ocasiones: Quienes rechazan la reforma tienden a desaprobar más el gobierno de Bachelet, a creer que el país está progresando, que la situación económica del país es buena y muy buena. Lo cual refrenda lo anterior: El rechazo a la reforma no es sólo la inversión de la aceptación, es una actitud distinta, y que está más concentrado en ciertas posiciones e ideas.

 

NOTA: No ponemos en cuadro algunas relaciones que son relativamente ‘evidentes’ y que no tienen, como en el caso de educación, al menos la relevancia de mostrar la validez del constructo: Quienes apoyan la reforma educacional tienden a ser menos de derecha, o ser de estratos más bajos etc.

2 Comments

Las visiones sobre la Educación (o de cómo analizar encuestas intencionadas como la CEP)

  By , ,

Dado que el Centro de Estudios Públicos tuvo a bien liberar la base de datos (aquí el link) y bueno es reconocer dicha práctica, entonces también corresponde revisar los resultados. Ahora bien, que el cuestionario tenga direccionalidad no implica que no se pueda usar, sólo que es necesario tener esa dirección en cuenta (como argüimos en una entrada anterior).

Si nos centramos en las discutidas preguntas sobre educación, y en particular aquellos que dicen relación con la Reforma, se pueden hacer algunas cosas sencillas para comprender las distintas visiones sobre educación. Lo primero es seleccionar las preguntas a usar. Para este análisis usaremos las siguientes:

  1. ¿Cree Ud. que es bueno que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos, o Ud. cree que esto debiera estar prohibido?
  2. ¿Qué le parece que los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños?
  3. ¿Está usted de acuerdo o en desacuerdo con que los colegios religiosos tengan un proceso de admisión que verifique si las familias están comprometidas con el proyecto educativo y los valores del colegio?
  4. ¿Está usted de acuerdo o en desacuerdo con que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión?

Con estas preguntas, puedo contar el número de veces en que las personas responden la alternativa que es pro-reforma (no al copago, no al lucro, no a la selección), con ello creo un índice Pro-Reforma. Y puedo además repetir el ejercicio para el número de veces en que las personas responden la alternativa que es anti-reforma (sí al lucro, sí al lucro, sí a la selección) y con ello se crea un índice Anti-Reforma. Esto da dos indices con puntajes de 0 a 4. Como las personas pueden no responder preguntas estos índices no son simples inversiones (i.e es posible tener 0 en un índice y no tener 4 en el otro por ejemplo).

Al analizar los resultados, sabiendo que las preguntas tienen dirección, habrá que darle más peso a la dirección pro-Reforma: Es muy duro a favor de la reforma, por ejemplo, responder siempre a favor de ella. Y es menos duro en contra de la reforma responder siempre en contra de ello. Tomando en cuenta ello agruparemos en el índice pro-reforma a quienes respondieron a favor de ella en 3 o 4 ocasiones (como núcleo duro a favor), a quienes respondieron a favor de ella en 1 o 2 ocasiones (como grupo mixto, que le gustan algunas pero no todas las propuestas), y a quienes respondieron a favor de ella en 0 ocasiones (como  grupo que no esta a favor de la reforma). Al mismo tiempo en el indice anti-reforma agruparemos a quienes respondieron en contra de ella en 0 o 1 ocasiones (como grupo que no la rechaza), a quienes respondieron en contra 2 o 3 ocasiones (como grupo mixto, que rechaza algunas pero no todas las propuestas) y a quienes respondieron en contra 4 ocasiones (como núcleo duro en contra). Al agrupar sistemáticamente en el extremo a favor 2 posiciones pero no hacerlo en el extremo en contra se puede controlar algo el efecto del sesgo de las preguntas.

Los resultados de lo anterior en la siguiente tabla (en las filas cada una de los índices, en las columnas los grupos en cada escala dividido en un lado a favor, un sector mixto y un lado contra la reforma).

Visiones sobre Educación

Índice A favor Reforma Mixto Contra Reforma
Pro-reforma 29,0 48,7 22,3
Anti-reforma 38,7 47,4 14,0

Entonces un 29% de la población se puede caracterizar como núcleo duro a favor de la reforma (responde en 3 o 4 ocasiones a favor de ella), lo que sube a un 39% si se piensa como grupo abierto a la reforma (responde en 0 o 1 ocasiones en contra de ella). El grupo mixto es de un 49% en el índice pro-reforma y de un 47% en el índice anti-reforma. Finalmente, un 14% se puede definir como núcleo duro anti-reforma (responde en 4 ocasiones en contra de ella) y un 22% puede definirse como grupo más bien cerrado a la reforma (responde en 0 ocasiones a favor de ella).

La tabla no sólo nos muestra que hay diversas visiones sobre la reforma (que es un elemento dado) sino que si bien la reforma claramente no tiene mayoría, el núcleo a favor de ella es más importante numéricamente que el núcleo en contra de ella:  La aceptación sistemática (29%) es mayor que el rechazo sistemático (14%) a la reforma. Además podemos también plantear que la apertura (39%) es mayor que el cierre total (22%)

Ahora bien esto es algo de lo cual el análisis univariado de la CEP ya algo daba indicios: la pregunta sobre si prefería sólo educación estatal o muchos colegios para elegir mostraba un 41% a favor de sólo educación estatal que es una afirmación muy dura a favor de cambios, lo cual daba muestra de la fuerza de quienes quieren reformas muy radicales.

Por cierto que, aunque no son idénticas, ambas clasificaciones no les queda más que estar muy asociadas (el V de Cramer es de ,779), y esto nos permite hacer una clasificación combinada:

  1. El núcleo duro pro-reforma (29%): Quienes declaran sistemáticamente estar a favor de ella (y luego sistemáticamente no declaran en contra)
  2. El grupo mixto (42%): Quienes en ambas escalas están con puntajes intermedios.
  3. El núcleo duro anti-reforma (14%): Quienes declaran sistemáticamente estar en contra de ella (y luego sistemáticamente no declaran a favor)
  4. El grupo más bien abierto a la reforma (6%): Que declara intermedio a favor de la reforma pero no declara en contra de ella.
  5. El grupo más bien cerrado a la reforma (5%): Que declara intermedio en contra de la reforma pero no declara a favor de ella
  6. El grupo indeciso (3%): Que no declara a favor reforma ni en contra de ella.

Si quisiera reducirlo todo a 3 grupos (pro, intermedio o anti) entonces quedaríamos en 35% con disposición más bien positiva a la reforma (suma de 1 y 4), 46% intermedio (suma de 2 y 6), y 19% con disposición más bien negativa (suma de 3 y 5). Pero eso sería más bien sobre-simplificar las cosas.

Por supuesto la mitad del interés de hacer estas clasificaciones está en hacer cruces con ellas (para el análisis descriptivo creo que con la comparación de índices ya tiene interés). Dejemos ello para la siguiente entrada.