Entre todas las sorpresas que para muchos trajo el 2016 ha aparecido una regularidad: El fracaso predictivo de las encuestas. O al menos eso se ha dicho en torno al Brexit, al plebiscito colombiano, también en torno a las encuestas de la municipal, y finalmente también se ha repetido ello con relación a la reciente presidencial en EE.UU. Se podría plantear que dicho fracaso ha sido exagerado: Las encuestas Brexit indicaban un resultado parejo, en el caso de EE.UU las encuestas nacionales predecían que Clinton obtendría más votos que Trump, y así sucedió (estando la diferencia en el margen de error). Sin embargo, serían defensas débiles.
Porque el caso es que a partir de las encuestas se construyeron expectativas, y ello sin falsear los datos. Los agregadores de encuestas, y recordemos que el mero ejercicio de agregar en principio debiera aumentar la precisión, indicaban ciertos resultados. Hay algo entonces más complejo de fondo.
Si nos remitimos a la realidad chilena nos encontramos con una serie de asuntos en la investigación de encuestas que requieren, al menos, un examen. Por un lado, las encuestas cara-a-cara cada día más se encuentran con problemas de tasa de respuesta, y ni el mejor procedimiento de selección garantiza resultados confiables si la tasa de respuesta es baja. Por otro lado, las telefónicas se enfrentan al hecho que cada año disminuyen los hogares con teléfono fijo, y los teléfonos celulares no hay forma de controlar quienes están detrás de los números (i.e la relación entre números y personas nos es 1 a 1). En el caso de las Online, se ha expandido la idea de contar con un pool de entrevistados a partir de los cuales seleccionar (más o menos aleatoriamente), aunque no conozco mucho que la adecuación de dichos pools esté muy garantizada.
En otras palabras, el contexto social de las encuestas ha cambiado, y el mismo procedimiento que años atrás permitía conocer la realidad no lo permite en la actualidad. Un recordatorio sencillo que los métodos y las técnicas no caen del cielo ni son cosas puras, sino que dependen de la realidad que examinan. Y que cuando la realidad se modifica, entonces no queda más que cambiar las formas de acercarse a ella.
¿Cuáles? Existe la tentación de, dada la gran expansión de datos sobre la realidad social, entonces olvidarnos de este extraño asunto de preguntarle a las personas lo que opinan y lo que hacen y remitirnos a lo que realmente hacen. Dos problemas. Uno es relativamente menor -que no todos participan de aquellos instrumentos que generan datos de conducta. Pero eso es cosa de no olvidar ello, pero de esos universos acotados de los cuales pueden hablar efectivamente lo hacen con gran confiabilidad. El segundo es realmente el clave: Porque es fácil olvidar que de la conducta no se pueden derivar opiniones. La idea que la conducta es la preferencia revelada ilumina cosas, a condición de no olvidar lo que no debe olvidarse: Que no siempre aprobamos nuestra conducta, que el nivel de agrado de nuestra selección es variable; que el arrepentirse, que el protegerse de uno mismo, son situaciones reales que tienen consecuencias, y si alguien lo olvidara no estaría de más que revisara Ulises y las Sirenas de Elster.
En el período del cenit de las encuestas, muchas veces ellas parecían ser el paradigma del buen conocimiento. Ahora es claro que no lo son. Será perdonable la esperanza que, aprendiendo de nuestros errores, no caigamos de nuevo en la idea que hay cierta técnica infalible que nos asegura conocer bien el mundo. Aprender del mundo no es algo que se pueda realizar repitiendo recetas, y ella es la primera lección de metodología que un sociólogo debiera aprender.
.
Hay un asunto más de fondo que casi no se menciona en las ciencias sociales: las estadísticas tienen un pobre valor predictivo ante situaciones inciertas y solo funcionan relativamente bien para predecir lo obvio, o sea que se está usando una herramienta que probablemente no sirva. Se les dota de respetabilidad “científica” por usar las matemáticas, pero son aplicadas por gente con conocimientos matemáticos bastante superficiales, lo que hace que sus predicciones tengan más o menos la misma probabilidad de acierto que tirar una moneda al aire.
Incluso eximios estadísticos como Keynes fracasaron una y otra vez cuando intentaron ganar plata usando sus conocimientos, a Keynes lo salvaron de la ruina sus amigos muchas veces que apostó en la bolsa.
Esa fe que muestran a veces a las estadísticas desde las ciencias sociales, es profesada por gente que puede ser ilustre pero que tiene ideas muy superficiales del alcance de las herramientas matemáticas, que solo dominan a nivel operativo, tal como el que maneja bien un auto sin tener idea de mecánica. Eso puede funcionar bien con los autos pero no con “teorías” sociales.
Si las encuestas tuviesen un poder predictivo real -aunque fuese limitado- podrían reemplazar con ventaja a las elecciones, sujetas a mucha más distorsión en cuanto a reflejar la opinión popular.
De hecho, en situaciones previas las encuestas reemplazaban a elecciones en varios momentos (por ejemplo, en la determinación de candidatos en nuestro país). No pueden reemplazarlas totalmente por el simple hecho que son el baremo con el cual se contrastan (i.e es más claro lo débiles que son ahora que han tenido repetidas ocasiones de equivocarse).
El caso es que para que las encuestas funcionasen mínimamente bien debían ocurrir ciertas cosas en la vida social (desde que la gente contestara por ejemplo); y esas cada día menos ocurren. Por lo que ya era limitado, pero al menos en su limitación funcionaba, aparece incluso más débil que de costumbre.
Hay un asunto de legitimidad también: qué tanto les creemos. En Chile a las elecciones les creemos bastante, en cambio a las encuestas no, pero las dos son procesos parecidos.
La diferencia es que las encuestas son una caja negra, con un procedimiento desconocido por la mayoría, en cambio las elecciones son más transparentes. No hay caja negra en las elecciones.
El otro defecto es que la gente (y uno también) dice una cosa, pero después hace otra. Las encuestas pueden medir opiniones, pero no siempre acciones. Confesar en una encuesta que las mujeres que me parecen atractivas son las que tienen 15 años menos que yo es muy políticamente incorrecto y tal vez nunca llegue a decirlo en público. Confesar que Trump no creo que sea el segundo Hitler en el lugar donde trabajo, donde investigo, el lugar donde estaban todos impresionados el día después de la elecciónm podría arruinarme.
La gente no dice la verdad en las encuestas.