Etiqueta: metodología

No comments

La Particularidad de las Encuestas Electorales

  By , ,

El miércoles 13 de este mes, el Colegio de Sociólogos tuvo a bien realizar un Panel sobre Encuestas Políticas. En la discusión, a propósito de la diferencia entre encuestas de opinión y encuestas electorales, mencioné como comentario una vieja idea de Jesús Ibáñez: Que la encuesta y la elección son actividades homólogas: En ambos casos se realiza la misma operación (se realiza una selección entre varias alternativas pre-determinadas); y que ello constituye, al final de cuentas, una ventaja de la encuesta electoral sobre otras -donde ello no ocurre.

A propósito de lo anterior, Bernardo Mackenna -que exponía como panelista- hizo el comentario que la encuesta electoral no era la única que tenía un baremo externo. Se puede comparar los ingresos que se obtienen en la CASEN con los datos del Banco Central, se puede comparar los datos de las Encuesta Nacional de Seguridad Ciudadana con las estadísticas de delitos. Y sin embargo, pareciera ser que sólo a las encuestas electorales se les pide una corrección tan precisa.

Creo que a partir de esa discusión se puede perfilar mejor la particularidad de la encuesta electoral -y por qué es, finalmente, muy razonable que a ellas les pidamos una exigencia de corrección tan alta. Volvamos a la observación inicial. Ella no es que hay baremo externo, es que la operación de responder una encuesta y de votar en una elección son la misma operación. Entonces, es claro que ello no ocurre en los otros casos.

En las encuestas de actitud simplemente porque claramente la actitud o creencia que uno tiene no es -para nada- equivalente al responder una encuesta. La respuesta de la encuesta está siempre alejada, no puede corresponder exactamente, a lo que se quiere medir. Hay una distancia infranqueable. No por eso dejan de ser útiles las encuestas de opinión, pero esa utilidad se construye a través de esa distancia.

En el caso de otras encuestas de comportamientos es cierto que, en principio, hay una ‘respuesta correcta’ que es posible determinar. Existe tal cosa como los ingresos de una persona, y ello puede decirse. Sin embargo, sigue siendo cierto que la operación de recibir un ingreso (o la situación de sufrir un delito) no son equivalentes a la de una votación: Recibir un sueldo no es seleccionar una alternativa de un listado, tampoco lo es el realizar un trabajo o el ser asaltado. La distancia aquí no es infranqueable, pero dependiendo de la situación la pregunta y la realidad tienen distancia. Es cosa de pensar en todas las dificultades que existen en lo relativo a poder determinar el ingreso del hogar (es cosa de revisar el cuestionario de la CASEN y observar todas las operaciones que requiere una persona para seleccionar una respuesta). El mapeo de lo real y el mapeo de la encuesta no son idénticos. Más aún, el baremo externo a su vez es distinta de la realidad que queremos investigar: Los ingresos que reciben las personas no son las cuentas nacionales (hay ingreso que no aparece en ellos), los delitos que efectivamente suceden no son equivalentes a las denuncias (hay delitos que no se denuncian, hay denuncias que no siempre corresponden a un delito). Si bien en principio es posible realizar una prueba de realidad, ella es manifiestamente compleja.

El caso de la encuesta electoral es, entonces, claramente más sencillo. Seleccionar al candidato X de una lista de posibles candidatos es la misma operación que realizo al votar. Por cierto, la medición no es trivial ni transparente, pero la cercanía estructural de las operaciones facilita la resolución de esos temas (en última instancia, es tan equivalente que el CEP puede, simplemente, hacer encuesta con voto en urna). Más aún, aquí la prueba de realidad es perfecta: El conteo de votos es el resultado de la votación (mientras que las cuentas nacionales no son el ingreso nacional). La encuesta electoral, que tiene sus propios problemas, tiene bastante menos problemas de validez de medición y una prueba de corrección que, al ser más precisa, permite un mejor ajuste.

Ahora bien, ese permite un mejor ajuste, se traduce en un ‘se demanda mejor ajuste’. Es razonable suponer que la CASEN no de lo mismo que las cuentas nacionales (y en los tiempos en que se ajustaban los ingresos declarados de la CASEN con dichas cuentas, había cambios relevantes). La dificultad de medir el ingreso, y el hecho que las cuentas nacionales no sean la realidad a medir, tiene esa consecuencia. Pero dado que en la encuesta electoral hay menores dificultades, y la realidad es perfectamente conocida, es razonable que se pida mayor precisión y se tengan mayores exigencias en la medición.

En algún sentido, hasta pocos años atrás la encuesta electoral en Chile era un asunto relativamente sencillo. Ahora, debido a diversos cambios (que, por cierto, tampoco está claro en concreto que está detrás de los problemas recientes), esa medición se ha vuelto más compleja. Y, sin embargo, sigue siendo algo menos complejo que lo que el INE debe resolver con empleo, el MDS para medir pobreza y uno puede continuar con otros casos. Y si, en última instancia, esos otros problemas han podido ser resueltos (al menos, se puede entregar una medición que tenga algún sentido y validez), entonces uno debiera esperar que ello también ocurriera con las encuestas electorales.

3 Comments

De las encuestas en el contexto actual. O cómo las técnicas siempre dependen de los contextos sociales

  By ,

Entre todas las sorpresas que para muchos trajo el 2016 ha aparecido una regularidad: El fracaso predictivo de las encuestas. O al menos eso se ha dicho en torno al Brexit, al plebiscito colombiano, también en torno a las encuestas de la municipal, y finalmente también se ha repetido ello con relación a la reciente presidencial en EE.UU. Se podría plantear que dicho fracaso ha sido exagerado: Las encuestas Brexit indicaban un resultado parejo, en el caso de EE.UU las encuestas nacionales predecían que Clinton obtendría más votos que Trump, y así sucedió (estando la diferencia en el margen de error). Sin embargo, serían defensas débiles.

Porque el caso es que a partir de las encuestas se construyeron expectativas, y ello sin falsear los datos. Los agregadores de encuestas, y recordemos que el mero ejercicio de agregar en principio debiera aumentar la precisión, indicaban ciertos resultados. Hay algo entonces más complejo de fondo.

Si nos remitimos a la realidad chilena nos encontramos con una serie de asuntos en la investigación de encuestas que requieren, al menos, un examen. Por un lado, las encuestas cara-a-cara cada día más se encuentran con problemas de tasa de respuesta, y ni el mejor procedimiento de selección garantiza resultados confiables si la tasa de respuesta es baja. Por otro lado, las telefónicas se enfrentan al hecho que cada año disminuyen los hogares con teléfono fijo, y los teléfonos celulares no hay forma de controlar quienes están detrás de los números (i.e la relación entre números y personas nos es 1 a 1). En el caso de las Online, se ha expandido la idea de contar con un pool de entrevistados a partir de los cuales seleccionar (más o menos aleatoriamente), aunque no conozco mucho que la adecuación de dichos pools esté muy garantizada.

En otras palabras, el contexto social de las encuestas ha cambiado, y el mismo procedimiento que años atrás permitía conocer la realidad no lo permite en la actualidad. Un recordatorio sencillo que los métodos y las técnicas no caen del cielo ni son cosas puras, sino que dependen de la realidad que examinan. Y que cuando la realidad se modifica, entonces no queda más que cambiar las formas de acercarse a ella.

¿Cuáles? Existe la tentación de, dada la gran expansión de datos sobre la realidad social, entonces olvidarnos de este extraño asunto de preguntarle a las personas lo que opinan y lo que hacen y remitirnos a lo que realmente hacen. Dos problemas. Uno es relativamente menor -que no todos participan de aquellos instrumentos que generan datos de conducta. Pero eso es cosa de no olvidar ello, pero de esos universos acotados de los cuales pueden hablar efectivamente lo hacen con gran confiabilidad. El segundo es realmente el clave: Porque es fácil olvidar que de la conducta no se pueden derivar opiniones. La idea que la conducta es la preferencia revelada ilumina cosas, a condición de no olvidar lo que no debe olvidarse: Que no siempre aprobamos nuestra conducta, que el nivel de agrado de nuestra selección es variable; que el arrepentirse, que el protegerse de uno mismo, son situaciones reales que tienen consecuencias, y si alguien lo olvidara no estaría de más que revisara Ulises y las Sirenas de Elster.

En el período del cenit de las encuestas, muchas veces ellas parecían ser el paradigma del buen conocimiento. Ahora es claro que no lo son. Será perdonable la esperanza que, aprendiendo de nuestros errores, no caigamos de nuevo en la idea que hay cierta técnica infalible que nos asegura conocer bien el mundo. Aprender del mundo no es algo que se pueda realizar repitiendo recetas, y ella es la primera lección de metodología que un sociólogo debiera aprender.

No comments

Sobre los malos usos de las pruebas de significación

  By ,

El preguntar si una diferencia es significativa estadísticamente es una de las operaciones comunes y más recurrentes del análisis en muchos campos, y en específico en sociología. Pensemos en las discusiones existentes sobre si las diferencias entre resultados de encuestas son significativas.

Ahora bien, desde hace varios años se han desarrollado diversas críticas sobre el uso de la idea de significación, y que buena parte de los analistas en realidad no tienen claro que significa una prueba de significación.  En algún sentido, que usamos mal las dichosas pruebas y, luego, generamos mal conocimiento a partir de ese uso.

En estos últimos días, la American Statistical Association (ASA) decidió emitir una declaración formal (en este link) sobre el uso de estas pruebas. Una de las frases puestas al inicio de la declaración muestra un poco lo meramente ritual de mucho de nuestro uso y conocimiento al respecto:

Q: Why do so many colleges and grad schools teach p = .05?
A: Because that’s still what the scientific community and journal editors use.

Q: Why do so many people still use p = 0.05?
A: Because that’s what they were taught in college or grad school.

La definición informal que se da de la prueba de significación no es particularmente clara, pero eso es al parecer una característica común del dichoso parámetro:

Informally, a p-value is the probability under a specified statistical model that a statistical summary of the data (for example, the sample mean difference between two compared groups) would be equal to or more extreme than its observed value

Aunque el autor no es estadístico, una de las mejores y más claras descripciones de lo que implica esta declaración informal es en una entrada en el blog Crookedtimber (link aquí). Se usa el ejemplo de lanzar monedas y te encuentras que te ha salido cara en 5 ocasiones. Ahora bien, la probabilidad de ello sería 1/32 que sería inferior al límite estándar de  p < .05. La idea entonces es que si la moneda es ‘fair’ tendríamos una chance más baja que 1 en 20 a que podrías obtener un resultado equivalente (o mejor) que cinco caras seguidas. El autor de la entrada entonces nos hace las siguientes equivalencias entre esa afirmación en cursiva y el esquema de la ASA:

  • ‘Bajo un modelo estadístico específico’ = si esta moneda es ‘fair’
  • ‘La probabilidad que un resumen estadístico de los datos sea igual o más extremo que’ = la chance es inferior que 1 en 20 a que podrías obtener ese resultado
  • ‘Su valor observado’ = las cinco caras que tuve seguidas

El ejemplo, en todo caso, al mostrarnos más claramente en que consiste la significación estadística, nos muestra también sus límites: Porque de la significación del resultado, de la frase que está en cursiva, a pocos se nos ocurriría obtener como conclusión que la moneda está cargada. Por así decirlo, siguiendo una idea ‘bayesiana’ diríamos que la probabilidad de obtener una resultado significativo igual es mayor que la de tener una moneda cargada. En otras palabras, del rechazo de la hipótesis nula no se sigue nada en relación con la validez de la hipótesis sustantiva.

Citemos a continuación a algunos comentaristas que han enfatizado este último punto:

One of the most important messages is that the p-value cannot tell you if your hypothesis is correct. Instead, it’s the probability of your data given your hypothesis. That sounds tantalizingly similar to “the probability of your hypothesis given your data,” but they’re not the same thing (Christie Aschwanden en FiveThirtyEight.com, link aquí)

Y ahora a Andrew Gelman, que ha sido uno de los críticos más importantes de todo el uso de la significación estadística en la práctica de investigación:

Ultimately the problem is not with p-values but with null-hypothesis significance testing, that parody of falsificationism in which straw-man null hypothesis A is rejected and this is taken as evidence in favor of preferred alternative B (Link aquí)

Gelman continúa enfatizando la diferencia entre las hipótesis estadísticas con respecto a las hipótesis científicas sustantivas. Y que, como ya hemos visto, la prueba de significación no indica sobre la verdad de tu hipótesis. Los principios que establece la declaración de la ASA en ello es claro: Los valores de P indican cuan incompatible son tus resultados dados un modelo estadístico. Pero no miden la probabilidad que tu hipótesis sustantiva sea verdadera, ni tampoco que el proceso que generó el resultado sea al azar. (Principio 2)

Todo lo anterior tiene consecuencias para la investigación: La misma declaración de la ASA nos dice que las conclusiones científicas (o de recomendación de política) no pueden basarse sólo en el hecho que se ha obtenido un ‘resultado significativo’. Y la ASA recuerda algo que es conocido pero suele olvidarse: La significación estadística no es la sustantiva, no indica nada sobre la importancia de la relación declarada significativa.

En la discusión que generó la declaración de la ASA uno de los puntos era, ¿con qué se podría reemplazar entonces los valores de p? Sin embargo, creo que la conclusión de Gelman es más adecuada: Hay que salir de la idea que existe un indicador que establece por sí mismo la validez de un resultado.

Quiero a partir de este último punto hacer algunas observaciones más específicas sobre el tema de los usos de las pruebas de significación en sociología. La discusión que hemos mencionado hasta ahora aplica a múltiples disciplinas, el uso de los valores de p y el límite de p < .05 aparecen en diversos contextos, y en todos ellos re-aparece el tema del mal uso de estos parámetros. Pero creo que en nuestras disciplinas se suman otros elementos que hacen incluso más crítico este mal uso.

El caso es que dada la forma en que a los sociólogos se les enseña estadística, la tentación de reducir todo al simple parámetro del valor de significación es muy alto. Como la estadística se nos enseña como una caja negra, y luego en términos de unos procedimientos a seguir que en realidad no entendemos (¿cuántos sociólogos podrían reconocer la función que produce la distribución normal?), entonces nos es más fácil reducir todos los resultados de un análisis al simple parámetro de la prueba de significación. Que además viene con un criterio ‘claro y definido’: Alguien que no entiende mucho lo que está haciendo de todas formas puede revisar cualquier resultado de cualquier procedimiento y observar si p es menor a 0.05, y luego concluir que hay o no asociación significativa entre tal y tal.

Algunos de los problemas de la sociología en relación con el uso de las pruebas de significación dicen relación con aspectos que, en todo caso, resultan incluso más básicos que los anteriores; y hacen que el mal uso de este parámetro sea incluso más penoso en nuestra disciplina.

El primero de ellos es en torno al uso del umbral del p <.05 como muestra de resultado importante. Ello no es exclusivo de nuestras disciplinas: Uno de los temas que se discute, y que ha sido importante, en generar esta discusión es el uso no reflexionado del umbral de p < .05 como umbral de publicación y de resultados importantes. Ahora bien, como en toda investigación existe un importante grado de libertad en las operaciones (en el tipo de análisis, en el modelo concreto, en el procedimiento, en las variables que se insertan etc.) ‘buscar’ un resultado significativo es una tentación importante. Más aún, podemos recordar que una relación con el mismo grado de fuerza puede ser o no significativa dependiendo del tamaño de la muestra. La presión para publicar genera esta tentación para encontrar algo significativo.

Siendo un asunto general, creo que en sociología esto se refuerza con la aceptación de estándares muy bajos del nivel de efecto. Pensemos en los innumerables artículos publicados con modelos que explican un porcentaje bajo de la varianza: Se publican porque se encuentran efectos significativos estadísticamente, pero en realidad sigo tan desconocedor de la realidad como antes. La libertad de los modelos además tiene otro efecto: Que puedo terminar con un alto número de variables que influyen, dependiendo de cómo realizo el modelo el número de posibles variables que se asocian significativamente puede ser muy alto. Pero en la interpretación y discusión modelos que explican entre un 10% o un 14% se usan como si se estuvieran descubriendo procesos altamente importantes.

Oro elemento que suele afectar las lecturas de la significación, y tengo la impresión que ello es muy común en nuestras disciplinas, es la confusión entre X está asociado con Y con que los X son Y. Pensemos que encontramos que tal grupo (los hombres, las personas de estrato alto, los trabajadores bancarios etc.) tienen una diferencia significativa con respecto a otro grupo en determinada dimensión (digamos, son mayores lectores o más intolerantes o etc). Y de ahí concluimos y actuamos como si los hombres se caracterizaran por la lectoría o la intolerancia o etc, y se publicarán reportajes mostrando como ejemplo paradigmático de los hombres a quienes tienen esa característica. Pero uno revisa los datos y se encuentra con que la diferencia significativa es, por ejemplo, 3 o 4 puntos; y todos los grupos se caracterizan (a grandes rasgos) por la misma distribución entre los valores de la variable. Sólo pudiendo observar diferencias, entonces pasamos a pensar como si las diferencias fueran el valor.

En general, los problemas que hemos mencionado -desde los más sutiles a los más brutos, de los que cruzan a diversas disciplinas hasta los que son comunes, para nuestra vergüenza, en nuestras disciplinas- provienen de una voluntad de alejarse de las complejidades que implica analizar datos. La realidad no se deja asir a través de un sólo instrumento, y menos a través del uso burdo y simplista de reducir todo a la pregunta por el umbral de significación. Para hacer de verdad un análisis estadístico, hay que saber y conocer las herramientas usadas, describir los procesos y las decisiones, y tener claro que no hay un valor mágico que simplifica todas las complejidades de observar la realidad.

No comments

Una brevísima relación de la Sociología Analítica

  By ,

Que las aproximaciones sociológicas suelen, al final, dividirse entre versiones de teorías de acción y de estructura, por más que se intente superar (de diversas formas esa distinción). Ahora bien, dentro de las diversas formas que adquiere la preocupación por la acción una vertiente que ha adquirido fuerza en los últimos años, que tiene interés intrínseco y que además sus movimientos como tales son ilustrativos de las trayectorias de la teoría social en general es lo que se ha llamado sociología analítica  (Hedstrom 2005, Hedstrom 2009, Manzo 2010). La sociología analítica es tanto una propuesta teórica como una propuesta metodológica y trataremos ambas por separado aquí.

La sociología analítica como teoría

En lo que concierne a sus declaraciones teóricas podemos observar que tiene una clara raigambre accionalista:  ‘Through their actions actors make society ‘tick’, and without their actions social processes would come to a halt. Theories of action are therefore of fundamental importance for explanatory sociological theories’  (Hedstrom 2005: 5). Todo análisis requiere una micro-fundación (o sea, una explicación al nivel de los actores) robusta, sin ello no hay propiamente análisis -dado que lo que se niega, junto a toda la tradición accionalista, la existencia de mecanismos causales directos macro-a-macro (toda afirmación requiere pasar por el nivel del actor).

¿Qué modelo de actor? Claramente se tiende a rechazar la idea del rational choice, o al menos declararla insuficiente, Así Manzo plantea que esa teoría se debate entre una fuerte formalización que resulta empíricamente equivocada y entre versiones más débiles que no están tan equivocadas pero que predicen poco (Manzo 2013: 362). Y que existen modelos de actor que no tienen esas limitaciones. En esto se parece bastante a Raymond Boudon, que colaboró con un capítulo (1998)  en el libro de Social Mechanisms, que en cierta manera es el origen de esta perspectiva (y que estuvo en cercanía al esta vertiente por un buen tiempo). Ahora bien, de todas formas existe una preferencia compartida por la formalización; y lo que interesa es la  posibilidad de desarrollar una aproximación más formal, y con predicciones importantes, pero que no siga la tradición del rational choice.

Para ello se piensa que la acción intencional es la base de toda buena explicación, pero ello no requiere modelos racionalistas. El modelo DBO de Hedstrom (2005: 38-42), o  ver también Fehr y Gintis 2007) es una forma sencilla de modelo alternativo: La acción se comprende como el resultado de los deseos (D), las creencias (B, por beliefs) y las oportunidades (O). Este modelo sencillo se nos plantea ya es útil para explicar; Hëdstrom reconoce que es ‘sicología popular’, pero al mismo tiempo el hecho que en la vida cotidiana usemos un modelo de este tipo que sirve para predecir acciones de los otros basados en nuestras creencias sobre sus estados mentales, nos muestra que en algún nivel efectivamente funciona. Y dado que la ciencia social no tiene como objetivo explicar los estados individuales, sino usarlos como base para otras explicaciones, entonces quizás baste entonces con esa sicología popular.

Ahora bien esta perspectiva, si bien tiene una raíz claramente en las teorías de la acción y en perspectivas individualistas transita hacia una incorporación de una visión interaccional, reconociendo las estructuras. Luego de la cita de Hedstrom del párrafo anterior nos plantea que la estructura de interacciones tiene una importancia propia para la explicación. Recientemente, Manzo (2014: 17-21) ha enfatizado que la sociología analítica usa un individualismo estructural (también ver Hedstrom 2009, Manzo 2012), reconociendo que los actores están inscritos en una red de relaciones y en contextos. Que se requieren, para usar el subtítulo de un texto reciente en que se presenta esta perspectiva, ‘Acciones y Redes‘ para comprender la vida social implica un alejamiento de una perspectiva puramente accionalista.

En algún sentido, se puede plantear que el movimiento de la sociología analítica muestra los límites y posibilidades de la aproximación de la acción. Por un lado, (a) reconoce la necesidad de una visión más compleja del actor y (b) para explicar mediante acciones son necesarios parámetros estructurales (i.e las redes). Lo cual no deja de ser interesante porque replica un paso anterior de la teoría social. Esa es precisamente la solución de Parsons en la Estructura de la Acción Social (1949): complejizar la visión del actor, ingresar parámetros estructurales, todo en nombre de reconocer intencionalidad (voluntarismo en el lenguaje del primer Parsons). De alguna forma, la resolución de los problemas de las teorías accionalistas se resuelven en una dirección que envía hacia fuera de ella. Pero esta pareciera ser una lección olvidada porque, digamos, es un proceso que hay que hacer una y otra vez. Por otro lado, y ello tampoco debiera olvidarse, sí hay cierta evolución: El parámetro estructural que en Parsons era normas y valores es reemplazado por otro parámetro, que está constituido por otros actores. Y uno diría que, sí, ello constituye un avance teórico de alguna significación.

 

La sociología analítica como metodología.

La aproximación metodológica de la sociología analítica nace de una mirada muy crítica al estado de la sociología: la teoría social no es más que un conjunto de textos poco claros que nombran pero no explican -y no es extraño encontrar en estos autores referencias bastante caústicas sobre la definición de habitus de Bourdieu por ejemplo (usando la idea de ‘estructuras estructuradas predispuestas a funcionar como estructuras estructurantes’ como modelo de la falta de claridad). Se crítica que el modelo cognitivo de la ciencia, o sea la búsqueda de explicaciones la vida social, ha perdido importancia en función de otras formas de hacer sociología, que pueden ser legítimas pero que son secundarias (Boudon 2001).

Los principios básicos de objetividad, anti-relativismo, unidad de las ciencias y en particular la exigencia de claridad, enmarcan las preocupaciones de la sociología analítica. Lo cual comparten con otras perspectivas, lo que la diferencia es una fuerte explicación vía mecanismos (Hedstrom 2005, Hedstrom 2009, Noguera 2006, Manzo 2010):  Es importante superar las explicaciones de variables, que al final son ‘cajas negras’. La idea central es que explicar un fenómeno es generarlo (Manzo 2010: 210).

En este sentido, se puede plantear que es una perspectiva cierto sentido anti-hempeliana: la noción de ley de cobertura resulta insuficiente; como forma de superar la explicación solamente a través de variables. La idea de leyes de cobertura no es suficiente porque, precisamente, entrega regularidades sin mecanismos que expliquen cómo se genera esa regularidad.

Entonces, lo que hay que hacer es explicar vía mecanismos. donde podemos observar cómo se generan los procesos desde niveles más bajos (Hedstrom y Swedberg 1998}; y para un listado virtuosístico de mecanismos se puede leer a Elster (2007). Hay múltiples definiciones de mecanismos. Así Hedstrom (2010: 50-52) plantea que: (a) éstos se identifican por el efecto que causan, son siempre mecanismos de algo; (b) es una noción causal irreductible, se refiere a las entidades que causan el efecto; (c) tiene una estructura, hace visible como las entidades que lo forman producen el efecto; y (d) forman una jerarquía, lo que en cierto estudio se puede dar como un mecanismo dado se espera que a su vez este sea producido por mecanismos de menor nivel. Otra definición es la de Elster que tiene la ventaja de mostrar su naturaleza  alegal: ‘Roughly speaking, mechanisms are frequently occurring and easily recognizable causal patterns that are triggered under generally unknown conditions or with indeterminate consequences. They allow us to explain, but not to predict’ (Elster 2007: 36). No sólo los mecanismos claramente no son semejantes a leyes, sino que tampoco pueden pensarse como aquello que permite entender una ley -explicar sin predecir sería casi un anatema bajo la idea de explicación de cobertura.

En cualquier caso, no deja de ser curiosa esta fuerte defensa de la idea que una explicación para ser científica debe ser a través de mecanismos, y que es casi un oscurantismo plantear que se explica sin tener un mecanismo. Porque en la mecánica clásica ya encontramos ese mismo problema y la solución fue efectivamente declarar que no es necesario tener un mecanismo causal para tener una buena teoría científica: no hay mecanismo causal que explique la gravedad en Newton, y es esa falta la que originó la frase de hypothesis non fingo: No es necesario tener un mecanismo que explique la ley de gravitación para tener una muy adecuada ley de gravitación que nos permite comprender el mundo. En otras palabras, la filosofía de análisis que está detrás de este movimiento es tan exigente que elimina parte importante de las ciencias duras. Por cierto que, finalmente, a veces se reconoce que efectivamente resulta inviable tener explicaciones por mecanismos, pero no deja de ser algo extraña esta insistencia.

La explicación por mecanismos se aproxima a perspectivas de agentes, lo que se asocia al carácter accionalista de la perspectiva en términos teóricos: la idea de explicar el macro-resultado a través de elementos menores se traduce fácilmente a la idea que esos micro procesos son individuales. Los fenómenos agregados no se explican al nivel agregado: ‘Macro-level outcomes and relationships tell us very little about why we observe the macro-level outcomes and relationships we observe’ (Hedstrom 2009: 340). Al mismo tiempo, se critica la idea que esta asea una aproximación reduccionista, dado que el fenómeno agregado no es una simple ‘suma’ de lo que sucede con los actores, sino que depende de las formas en que ellos interactúan.

La formulación de Manzo es quizás una de las más claras en ubicar las diversas formas metodológicas que permiten explicar los fenómenos sociales: ‘wherein variable analysis describes, mechanism modeling (where mechanisms are built in non-reductionist methodological individualism terms) explains, and simulation activates and runs (as well as tests) the mechanisms assumed to be the basis for observed statistical relations’ (Manzo 2007: 37). Una síntesis de mecanismos con simulación, en todo caso, pareciera ser el núcleo de uno de los programas más relevantes de sociología científica en la actualidad.

 

La sociología analítica tiene varias de las ventajas y problemas de los programas de investigación que se originan polémicamente, en contra de otros: Tiene la fuerza y el entusiasmo de quienes quieren hacer un giro en una disciplina que ven con problemas y que se requiere recuperar o tomar por primera vez algo que es relevante y que puede ser pasado por alto; pero al mismo tiempo resultan algo monotemáticos y exagerados (por ejemplo, en su rechazo a explicaciones no mecanicistas). Ahora bien, por cierto que en la medida que esta tradición se desarrolla algunos de sus rasgos más unilaterales se difuminan (y así, es un accionalismo que incorpora parámetros estructurales).  En cualquier caso, es una trayectoria que otros programas de investigación han tenido, desde la teoría del actor racional a aproximaciones relacionales; y pareciera ser que es así, a punta de entusiasmos unilaterales, que la reflexión teórica y metodológica de la disciplina, con todo, realiza producción de algún valor.

 

Referencias Bibliográficas.

Boudon, R. (1998). Social mechanisms without black boxes. En P. Hedström y R. Swedberg (Eds.), Social mechanisms (pp. 172–203). Cambridge: Cambridge University Press.

Boudon, R. (2001). Sociology that really matters. Paris: European Academy of Sociology, Inaugural Lecture

Elster, J. (2007). Explaining Social Behavior. Cambridge: Cambridge University Press.

Fehr, E., y Gintis, H. (2007). Human Motivation and Social Cooperation: Experimental
and Analytical Foundations. Annual Review of Sociology, 33, 43–64.

Hedström, P., y Swedberg, R. (1998). Social Mechanisms: An introductory essay. En P. Hedström y R. Swedberg (Eds.), Social mechanisms (pp. 1–31). Cambridge: Cambridge University Press.

Hedström, P. (2005). Dissecting the Social. Cambridge: Cambridge University Press.

Hedström, P. (2009). The Analitical Turn in Sociology. En P. Hedström y B. Wittrock (Eds.), Frontiers of sociology (pp. 331–342). Leiden: Brill.

Hedström, P., y Ylikoski, P. (2010). Causal Mechanisms in the Social Sciences. Annual Review of Sociology, 36, 49–67.

Manzo, G. (2007). Variables, Mechanisms and Simulations: Can the Three Methods Be Synthesized? A Critical Analysis of the Literature. Revue Française de Sociologie, 48(Supplement: An Annual English Selection), 35–71.

Manzo, G. (2010). Analytical Sociology and Its Critics. European Journal of Sociology, 51, 129–170.

Manzo, G. (2012). Full and Sketched Micro-Foundations: The Odd Resurgence of a Dubious Distinction. Sociologica, 1, 1–8.

Manzo, G. (2013). Is rational choice theory still a rational choice of theory? A response to Opp. Social Science Information, 52(3), 361-382.

Manzo, G. (2014). Data, Generative Models and Mechanisms. En G. Manzo (Ed.), Analytical sociology (p. 4-52). Chichester: Wiley.

Noguera, J. A. (2006). Introduction : Why We Need an Analytical Sociological Theory. Papers 80, 7–28.

Parsons, T. (1949). The Structure of Social Action. Glencoe, Il: The Free Press.

No comments

La Construcción Social de la Investigación Cuantitativa

  By ,

Lo que originalmente fue un conjunto de entradas, luego una ponencia en el Congreso se transformó en un artículo que publicó la revista Fronteras de la UFRO. El link aquí. (Además se suma a la sección de escritos como corresponde).

Y aprovechemos de colocar aquí el resumen:

La investigación social es siempre un proceso social. Conocer sobre la vida social es una actividad en la cual están insertos todos los actores sociales. ¿Cuáles son procesos sociales en los que emerge y tiene sentido realizar una forma de investigación social, la cuantitativa, que no parece tomar en cuenta estas afirmaciones iniciales? Más bien, para poder entender el estudio cuantitativo de lo social es preciso más bien partir del reconocimiento todos los actores sociales están continuamente interesados en conocer la vida social, y parte de esa búsqueda es una búsqueda de información ‘cuantitativa’.

Si se parte de actores capaces de darle sentido a sus acciones y que requieren información, se puede mostrar que en la vida cotidiana, y desde la perspectiva de esos actores, emergen demandas de información que requieren una aproximación objetual. Esa misma aproximación se refuerza, y requiere ya información cuantitativa, cuando se desarrolla el mundo organizacional.

Luego, efectivamente partiendo de la idea que la vida social es una actividad que requiere de todos los actores buscar información, se puede entender la emergencia y rol del conocimiento objetual y cuantitativo en la vida social. El reconocimiento del carácter significativo y construido de la vida social no minimiza la necesidad y utilidad de la investigación cuantitativa, sino más bien ésta se entiende mejor a partir de ese reconocimiento.

No comments

La Construcción Social del Malestar. Una comparación metodológica.

  By ,

Durante la escritura del Informe Los Tiempos de la Politización, un asunto que resultó interesante en la discusión del equipo fue comparar cómo se expresaba la crítica y malestar entre la evidencia cuantitativa y cualitativa: Esto porque sistemáticamente la evidencia cualitativa muestra mucho más malestar, y una mayor intensidad de él, que lo que ocurre en la encuesta. Una forma simplista de mirar y analizar sería decir ‘una de las dos formas está equivocada’ y observar cuál de ellas lo está. Sin embargo, más fructífero resulta preguntarse cómo se genera esa diferencia y cómo ella se entiende a partir de las características de las técnicas y del contexto en el cual se dan esas percepciones -que es, de acuerdo al Informe, no cualquier contexto, sino uno de politización. Si se tiene en cuenta lo anterior es posible entender esa diferencia y ello nos permite, entonces, comprender mejor las dinámicas que están a la base de las percepciones.

Para entender la diferencia es relevante recordar que es lo que se produce en la conversación grupal: Se expresa el sentido común, aquello que las personas piensan que todos comparten (dado que tienen que dar opiniones que crean tengan sentido para los otros que lo escuchan). La conversación magnifica aquello en que las personas se pueden reconocer como viviendo en común.

En el habla del malestar los chilenos encuentran es fácil encontrarse y reconocerse, y uno sabe que lo que uno plantea será recogido y aceptado por los otros. Y que eso ocurra nos informa sobre el estado de la situación actual. En el juicio individual (de la encuesta) a los chilenos se les facilita reconocer elementos positivos, pero cuando se pasa a la dinámica colectiva de la conversación es el malestar el que aglutina lo que sucede.

Lo que constituye el elemento en el cual se reconocen pueden ser muy distinto en diversos contextos, y es interesante que en la situación del Chile actual, el aspecto en el cual las personas se reconocen como un grupo con elementos comunes sea el malestar. Es relevante enfatizar esto porque en otros contextos no sucede esa dinámica: En otros momentos el habla sensata que aglutinaba no era un habla que se concentraba en el malestar. Mi experiencia en grupos de conversación durante los ’90 era, precisamente, que la forma de presentarse a sí como un sujeto razonable era la de enfatizar el carácter moderado y sopesado de la propia opinión. Lo que constituía sentido común era el habla que reconocía, a cada momento, elementos positivos y negativos -que no era tan iluso para pensar que no había problemas ni tan ciego de no observar elementos positivos. El hecho que esa dinámica no se diera en las conversaciones actuales en Chile, que la conversación lo que hiciera fuera magnificar el malestar, sería entonces un dato sintomático e ilustrativo de lo que sucede en nuestro país.

Si la hipótesis de este informe es correcta y se viven tiempos de politización, lo que ocurre en la dinámica colectiva de la conversación es relevante. Porque si es un dato del contexto actual de politización el que las conversaciones refuerzan y potencian la sensación de malestar, entonces este proceso puede repetirse en miles de conversaciones cotidianas. La dinámica de un juicio individual más moderado en su crítica que es reemplazado por una expresión más crítica en la conversación podría resultar crucial para entender el Chile de hoy.

No comments

Mayor seriedad. A propósito de las encuestas CADEM-Plaza Pública.

  By , ,

Desde hace un buen tiempo las encuestas de CADEM Plaza Pública se han transformado en parte de la agenda de medios (son publicadas y usadas). Un tracking semanal de opinión pública tiene su utilidad bien se puede pensar.

Ahora bien, en la sección de metodología -que hay que reconocer CADEM pone al inicio de sus informes, así que nadie puede reclamar que no le dijeron al menos- se dice lo siguiente sobre la muestra (luego de decirnos que usan dos técnicas para producir la información)

Para las entrevistas a través de teléfono fijo el muestreo fue probabilístico, a partir de BBDD con cobertura nacional, propias de CADEM, y dentro del hogar, la selección de los sujetos se hizo por cuotas de sexo, edad y NSE (Alto C1-C2; Medio C3; Bajo D/E).

Para las entrevistas cara a cara en punto fijo con tablet se pre-definieron cuotas para comunas específicas en la Región Metropolitana, Valparaíso y Biobío, además de sexo, edad y GSE (ABC1 y D/E) como complemento al muestreo del teléfono fijo.

Y sobre el tamaño de la muestra:

711 casos. 508 entrevistas fueron aplicadas telefónicamente y 203 entrevistas cara a cara en puntos de afluencia. Margen de error de +/- 3,7 puntos porcentuales al 95% de confianza.

A decir verdad, no funciona. Tiene sentido complementar teléfono fijo (dado el hecho que su cobertura no sólo es baja sino que disminuye, y además no sólo está sesgada por GSE sino además por edad, los hogares más jóvenes tienden a tener menos teléfono fijo). Pero las entrevistas en punto fijo no son un método que permita controlar sesgo alguno, por la simple y sencilla razón que es una técnica que no tiene ningún tipo de control. Siquiera atreverse a poner un margen de error en esas circunstancias es algo inválido.

Se puede plantear que hay excusas: No es posible suponer que un tracking semanal tenga los estándares de otros estudios, que la información que entrega no es tan descabellada. Y si uno está con ánimo magnánimo, incluso podría llegar a escucharlas. Pero sigue siendo cierto que son estudios que no cumplen estándar alguno. Sigue siendo cierto, además, que los estudios de encuestas se usan por las cifras exactas que entregan: No necesitamos un estudio para saber, por ejemplo, que la popularidad del gobierno ha caído; lo que no sabemos, y sería interesante saber, es cuanto -precisamente la razón por la cual se hacen encuestas. Pero el número es lo que no podemos usar de las encuestas CADEM Plaza Pública.

En otras palabras, necesitamos exigir y hacer las cosas con una mínima seriedad.

No comments

El Ingreso de Independientes y Asalariados en la CASEN 2013. O de la importancia de cambiar de Mediciones

  By ,

Cada vez que salen los datos de la CASEN hemos repetido en este blog el mismo ejercicio: Comparar el ingreso de trabajadores independientes y asalariados, controlando por nivel educacional. En todas las ocasiones hasta ahora había dado el mismo resultado: los cuenta propia (o sea sin empleadores) obtenían mayores ingresos que los asalariados (reuniendo asalariados sector público y privado, y excluyendo trabajadores domésticos y FF.AA). La diferencia además era relativamente relevante (alrededor del 50%).

Luego la idea era realizar la comparación de nuevo con la CASEN 2013. Sin embargo en esta ocasión había una diferencia de interés: La CASEN 2013 al revés que en ocasiones anteriores no realizó una corrección por cuentas nacionales; y los trabajadores independientes era uno de los grupos que más se veía afectado por esa corrección. La CASEN 2013 se basa en las respuestas de las personas a las preguntas de ingresos sin mayor corrección.

Esa diferencia en los métodos produce, entonces, una diferencia radical en los resultados. Veamos:

Ingresos Promedio Ocupación Principal por Categoría Ocupacional y Nivel Educacional

Independientes Asalariados Diferencia % Diferencia % CASEN 2011
Sin Educación Formal 142.206 212.223 -33% 1%
Básica incompleta 171.215 228.275 -25% 32%
Básica Completa 205.951 249.033 -17% 44%
Media Humanista incompleta 216.205 263.060 -18% 59%
Media T-P incompleta 200.520 316.515 -37% 30%
Media Humanista Completa 268.758 317.515 -15% 81%
Media T-P Completa 274.388 332.852 -18% 46%
Superior incompleta 355.817 409.832 -13% 103%
Superior Completa 742.002 808.807 -8% 55%

El año 2013 las diferencias son todas a favor de los asalariados, mientras que el 2011 eran siempre a favor de los cuenta propia (como siempre habíamos dado las diferencias en positivo, cuando beneficiaban a cuenta propia, en el cuadro presentamos las diferencias CASEN 2013 en negativo, al ser inversas).

De hecho, los ingresos de la ocupación principal disminuyen para trabajadores por cuenta propia entre CASEN 2011 y 2013 (a partir de media completa de manera bastante fuerte, los ingresos nominales disminuyen alrededor de un 50% en varios casos).

Lo que nos indican los datos es que claramente no se puede comparar directamente los resultados de la CASEN 2013 en ingresos con CASEN anteriores -dado que ha cambiado la metodología. Dado que la metodología de la CASEN 2013 implicó dejar de hacer ajustes anteriores, en principio se podrían hacer comparables de nuevo si se usan los datos brutos de CASEN anteriores (y si mal no me equivoco, las bases están disponibles).

La pregunta que cabe hacerse, es ¿qué dato representa mejor la realidad? Hay algunas consideraciones que se pueden plantear en torno a que realizar ajustes tiene sentido, en particular para trabajadores por cuenta propia: Primero, que son ingresos más difíciles de estimar (al ser inherentemente variables), y una estrategia de respuesta puede ser dar el una estimación mínima (‘menos que eso no gano’). Segundo, hay algunos estudios -pero realizados para EE.UU- que indican que las personas pueden responder a las encuestas de ingresos como si fueran formularios de impuestos y reducir el ingreso reportado, operación que es más sencilla para los asalariados (ver Are Household Surveys Like Tax Forms? Evidence from Income Underreporting of the Self-Employed, Hurst, Li y Pugsley, The Review of Economics and Statistics, 2014, 96: 19-33, y originalmente era un paper del NBER publicado el 2010). Por otro lado, la decisión de no realizar ajustes dice relación con que normalmente no se hacen en otros países, y por lo tanto por comparabilidad tiene sentido no hacerlo. Es necesario decir que, dado que había hecho el ejercicio varias veces estoy algo comprometido con la idea que era más adecuado realizar ajustes, así que la opinión puede no ser completamente imparcial -pero creo que la corrección tenía sentido.

En cualquier caso, nos encontramos con lo que debiera ser conocido: los resultados no son independientes de los métodos. Un resultado que era estable en la CASEN, al menos había ocurrido en todas las que había revisado, al cambiar la forma de medir ingresos se revierte.

¿Consejo? Lea, aunque le parezcan aburridas, las secciones metodológicas de los textos que le interesan, porque los resultados dependen de ellos.

No comments

Comparando Encuestas. CEP (Julio 2014) y UDP (Sept-Oct 2014) en Educación.

  By , ,

Una de las consecuencias positivas de que existan varias encuestas es la posibilidad de comparar sus resultados. Y como el tema de educación se ha tomado buena parte de la agenda pública en los últimos meses, algo de utilidad tendrá el ejercicio de comparar resultados en torno a esas preguntas.

Hace algunos meses atrás el CEP publicó resultados de preguntas de educación que fueron bastante discutidos por sesgados, y que también tratamos en este blog (link aquí y aquí). Recientemente el ICSO de la UDP publicó su encuesta regular de opinión pública, que también trataba el tema. Ahora bien, los resultados de la CEP daban la impresión de un fuerte rechazo a las reformas de educación, mientras que lo que mostraría la encuesta de UDP sería, en principio, lo contrario a ello. ¿Son las impresiones de disparidad ciertas? De serlo, ¿que nos indican sobre las encuestas y sobre lo que se puede interpretar de ellas?

Partamos con los datos generales de cada encuesta (resumidos en la siguiente tabla). En el caso de la CEP se ha mezclado elementos de la pregunta y de la respuesta para poder resumir la información -dado que en ella ambos elementos son significativos. La encuesta UDP, en general, tiene formas simples de respuesta (acuerdo o desacuerdo) con lo que la simple presentación de la pregunta es suficiente.

Ítem Porcentaje
Aprobación a que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos? (CEP Julio) 52
Aprobación los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños siempre y cuando tengan un buen nivel y los padres estén informados (CEP Julio) 49
Aprobación que los colegios religiosos tengan un proceso de admisión que verifique si las familias están comprometidas con el proyecto educativo y los valores del colegio (CEP Julio) 37
Aprobación que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión (CEP Julio) 54
Aprobación que la Educación sea entregada por el Estado solamente, para que todos reciban la misma educación (CEP Julio) 41
Importancia terminar con el lucro en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,94
Importancia terminar con el copago en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,63
Importancia terminar con la selección de estudiantes en educación media, escala 1-7 (UDP Septiembre-Octubre) 5,55
Los colegios particular-subvencionados debieran pasar a ser del Estado (UDP Septiembre-Octubre) 57
No debiera haber colegios particulares pagados, sino que sólo colegios públicos (UDP Septiembre-Octubre) 49
Todas las universidades privadas debieran pasar a ser del Estado (UDP Septiembre-Octubre) 60

Lo primero es que en realidad no hay demasiada diferencia. Las preguntas donde se manifestaba opinión anti-reforma en la CEP no son las que hace el UDP. La pregunta de importancia de la UDP no es una pregunta de adhesión finalmente (‘es muy importante y es muy mala’ no es una respuesta contradictoria). Lo único que ambas preguntan es sobre el tema del rol del Estado y aunque hay diferencias, ambas básicamente dicen lo mismo: Un porcentaje muy alto de la población plantea que el Estado debiera hacerse cargo de toda la educación. Una cifra muy alta para un país que tiene provisión mixta de hace más de un siglo y donde ese tema, de hecho, no está entre lo que las reformas proponen.

¿Qué es lo que pasa?

Por un lado es posible insistir en el tema del sesgo. La comparación entre las preguntas UDP (que son más sencillas) y las CEP (que son más complejas, integran más de una consideración) es, en general, favorable a la UDP. Por lo menos son más simples de interpretar. Sin embargo, como ya hicimos mención en su oportunidad, lo del sesgo no es un tema tan central -el dato de todas formas es usable si se lo interpreta adecuadamente.

Lo que nos gustaría insistir es más bien otra cosa. Una persona tiene sobre un determinado tema múltiples consideraciones (piensa varias cosas). Cuando ellas están alineadas y se refuerzan el efecto de una pregunta es más débil en general (i.e si uno es consistentemente anti-X, no importa como se haga la pregunta uno responderá anti-X). Pero sí estas consideraciones no están tan alineadas, y hay algunas que impelen a pensar de determinada forma y otras que impelen a pensar de otra forma, entonces sí se producen efectos de preguntas (i.e si la pregunta me hace pensar en A, entonces respondo pro-X; si la pregunta me hace pensar en B, entonces respondo anti-X). Ahora bien, no hay pregunta que pueda evitar hacer pensar en alguna consideración y no hay pregunta que pueda hacer pensar en todas las consideraciones (Todo esto resumiendo algunas ideas que están en Tourangeau et al, The Psychology of Survey Response, que es un libro algo viejo -es del 2000- pero creo todavía es interesante y útil).

Pensemos, entonces, en nuestro caso. Podemos decir lo siguiente: Hablar que el Estado se haga cargo de colegios puede hacer pensar en las personas (es una hipótesis pero creo razonable explorarla) en la vieja educación fiscal, que tengo la impresión es relativamente bien vista. Luego, si se me hace pensar en ello, tenderé a estar de acuerdo con cambios ‘estatalizantes’. Hablar sobre copago para mejorar me hace pensar en las razones por las cuales pago ese copago (o me gustaría hacerlo si pudiera) y por lo tanto me hace pensar en oponerse a esos cambios. Lo importante es enfatizar que, si estamos en lo correcto, estas diferencias no son formas de falsear la realidad, corresponden a lo que ocurre en la realidad.

Reflejarían que en relación a la Educación, los chilenos y chilenas tienen múltiples ideas, que todavía no terminan de cristalizar. En otras palabras, que están pensando en ello. Esto puede ser un problema para quienes nos dedicamos a investigar y encuestar dicha opinión, pero no deja de ser algo positivo en términos de deliberación pública.

No comments

La Construcción Social de la Investigación Cuantitativa.

  By ,

Habiendo escrito algunas entradas sobre mi experiencia en el 8° Congreso de Sociología, supongo que es razonable además escribir algo (y subirlas) sobre las ponencias que expuse en dicho Congreso.

Una de ellas versaba sobre la investigación cuantitativa (y que de hecho sintetiza ideas expuestas en entradas anteriores). La idea central es que sí es cierto que la investigación social es un proceso social, y que los actores son investigadores (ideas a partir de las cuales se suele criticar o limitar las técnicas cuantitativas), entonces se sigue que la investigación cuantitativa es válida y produce información útil. En cierta medida, se radicaliza algunas ideas (en Ibáñez por ejemplo) de porque esta investigación funciona, pero mientras en muchas lecturas esta aceptación es para mostrar lo débil o secundario de lo cuantitativo, aquí es para mostrar su relevancia y potencia.

Lo cual, al final, dice relación con el título de la ponencia: la investigación cuantitativa es una construcción social, pero como cuando los actores construyen, están efectivamente construyendo realidad, de ahí se sigue que ella produce información real.  Sí se quiere, la ponencia es tomarse en serio el hecho que los actores construyen en serio.

Y aquí el link.