No es la costumbre de este blog dedicarse a comentar asuntos de coyuntura, pero todo el tema de la CASEN me tiene algo aburrido. Y por la razón más sencilla: porque todos los participantes del debate se han dedicado a politizar el asunto.
Veamos cada uno de los puntos de la polémica.
(1) La comunicación sobre la disminución de la pobreza en 0,7 puntos. Dado el error muestral diseñado del estudio, y el hecho que es probable que el error muestral efectivo sea mayor, hace que -por lo menos- hacer una alharaca con el resultado estaba de más. Aquí el Gobierno no tiene, creo, como defenderse de la acusación que hizo una manipulación comunicacional. Que Andrés Hernando, ex-jefe de la División de Estudios, declare que siente que Lavín lo manipuló, aun cuando defiende todas las decisiones técnicas de la encuesta, debiera ser suficiente para dejar en claro la situación.
(2) El tema de las dos muestras. Primero, los documentos al respecto estaban disponibles en el sitio web del Ministerio (hacer click aquí), o sea la crítica que esto no se sabía sólo muestra que el crítico no buscó la información. Aquí uno puede ver que la propuesta del Ministerio de la CASEN ya hablaba de ampliar el tiempo de la encuesta y de hacer una muestra en dos fases. El Ministerio ha planteado que la recomendación de la muestra en dos fases fue del Comité de Expertos, pero Larrañaga ha negado que esa fuera una recomendación, sino que la recomendación fue ampliar el período. Ok. Ahora si amplio el período de toma de datos de una variable que es estacional, como lo es ingresos, evidentemente si quiero comparar tengo que hacerlo con lo comparable: Ergo, puedo comparar los mismos meses, que es equivalente a lo que se hacía antes. No puedo hacer la comparación con el período completo de terreno, que el 2011 fue más extenso, porque entonces es probable que los cambios encontrados sean producto del cambio en el diseño del estudio. En otras palabras, todo el escándalo por ese tema no tiene el menor sentido.
(3) El tema de los subsidios: Que estos subsidios no se mensualizaron como era lo que correspondía. A la respuesta del gobierno que la CEPAL fue la que tomó esa decisión porque ellos estimaron que la diferencia no era relevante y porque había una alta tasa de sub-reporte (y de hecho al parecer el efecto son dos décimas), se respondió con una acusación más profunda que de manipulación de cifras, que es la de mal diseño:
‘Una respuesta posible es que la “imputación del bono” nunca había sido necesaria, pues en encuestas anteriores los cuestionarios permitían distinguir si un ingreso dado (por ejemplo, un bono) era periódico y regular o por una sola vez. Cuando reconoce la necesidad de imputar específicamente el bono, el asesor confirma un segundo error técnico: el cuestionario fue mal diseñado’ (Velasco y Contreras en La Tercera el 21 de Agosto, ver aquí).
Dado que los cuestionarios son públicos es cosa de comparar (aquí Cuestionario 2009 y aquí Cuestionario 2011). En general, no parecen ser formas demasiado distintas de preguntar. Los bonos únicos (por ejemplo, bonos marzo o invierno) se preguntaron por período de referencia de 12 meses en los dos cuestionarios. En otros casos, como el bono de protección social se preguntó por la recepción en el último mes. En general, bonos comparables se preguntaron de formas similares. Los cuestionarios no son idénticos porque los bonos entregados por el Estado no eran los mismos, pero cuando cambia la realidad no queda más que cambiar el cuestionario. En todo caso, en general no se agregó en relación a subsidios preguntas por periodicidad ya sea el 2009 o el 2011 (donde se pregunta de manera sistemática por periodicidad es en ingresos laborales). Eso no obsta para que existan problemas en relación a la pregunta y su comparabilidad, y que se pueda discutir sobre el tema de cómo se asignó el subsidio, pero de ahí a decir que el cuestionario fue mal diseñado hay un trecho bastante grande.
(4) Finalmente, el tema de la pregunta y11, la pregunta por ingresos de desocupados o inactivos. Aquí el centro de la polémica ha estado en que la CEPAL originalmente no incluyó esa pregunta en su cálculo (y daba un 15%, o sea no había existido baja) y el gobierno, entonces, manipuló y exigió que se incluyera (y quedo en el 14,4% conocido). Ahora, escuchemos lo que dice Hernándo, que era el jefe de la División Estudios, en entrevista en el Ciper (aquí):
-¿Quien le pidió que la enviara?
-Mi jefa me preguntó cuál era la opinión de mi quipo [sic]. Quiero aclarar que no estuve en el proceso de elaboración del cuestionario cuando se hizo la pregunta “y11”. Ese proceso dependía de la División de Desarrollo Social. Yo le pregunté a Carolina Casas-Cordero que es la actual encargada del tema y ella me presentó sus argumentos técnicos, que están todos en la minuta que mandamos, y me convenció de que lo razonable era incluir la pregunta “y11”.
El argumento no provino entonces de las cabezas políticas ministeriales, sino finalmente de los cuadros técnicos del Ministerio. En otras palabras, cualquiera fuera el gobierno, se hubiera hecho la petición. Y la razón es clara: los cambios en cuestionario no se hacen porque sí y entonces esto tiene que ver con las posibles razones para incluir esa pregunta. El argumento de Casas-Cordero fue que la y11 no agrega ingresos sino que desagrega un ingreso que siempre fue considerado (en la pregunta de otros ingresos) y el pre-test habría mostrado eso. Ahora, la opción de desagregar posiblemente provino que desagregar entrega información más precisa, que los desempleados en la CASEN se hacen en torno a una semana de referencia pero los ingresos laborales son mensuales etc.
El caso es que sí se incluyó una pregunta nueva (la y11) dentro de ingresos no es extraño que cuando se reciben cifras que no consideran esa pregunta el diseñador del cuestionario -que no es la CEPAL en última instancia- reclame. De hecho, la CEPAL ahora intenta salirse del tema declarando que ‘ellos no discuten lo que deciden los gobiernos’, cuando la minuta de hecho indicaba que si tenían dudas las hicieran llegar. Si se quiere, la decisión del gobierno incluía que podían hacer valer su dudas. Presumiblemente la minuta debió tener la explicación más detallada (i.e presentar los datos del pre-test que lo avalan), pero no creo que una minuta insuficientemente detallada sea para hacer escándalo tremebundo.
Había partido todo esto diciendo que todo el mundo había politizado el tema. El gobierno desde sus inicios lo hizo en términos comunicacionales: Armando un gran alboroto por algo que no era para tanto -incluso si uno toma los datos sin discutirlos, no había pasado más que había vuelto a disminuir la pobreza, como lo ha hecho casi siempre con la CASEN, y de hecho todavía no volvemos a los niveles del 2006.
Pero los críticos también han politizado el asunto. En primer lugar, por empezar a hablar sin informarse. Varios de estos puntos estaban en documentos públicos. En segundo lugar, por hacer también una trampa comunicacional al pedir precisiones: Si de verdad tengo consultas técnicas sobre la CASEN no se las hago al Ministro en un Seminario -el Ministro no deja de ser un mero político-, se las hago al encargado de la Encuesta. En tercer lugar, porque se ha pasado de criticar la forma de comunicación de resultados a empezar a poner dudas en todas las cifras, recordemos la cita de ‘cuestionario mal diseñado’, por algo que de hecho era similar en CASEN anteriores.
La politización de la CASEN ya tiene sus años. El primer año que se hizo uso político de estas cosas fue el 2006. Fue la primera vez que alguien habló en referencia a la CASEN como la ‘encuesta del gobierno’ (Hernán Larraín en ese momento), o en que actores políticos que nada saben de Encuestas -Allamand en ese caso- se dedicaran a hacer comentarios técnicos, por ejemplo en torno a los cambios de pobreza a nivel comunal -tema muy discutido en ese entonces. Y ahora que la Concertación está pensando en una comisión investigadora, leamos esta nota de El Mostrador del 23 de Julio del 2007:
“Derecha solicitará interpelación de ministra Hardy por encuesta Casen. El jefe de la bancada RN, Mario Bertolino, justificó la decisión ya que su sector cree que la información del Mideplan, que dio cuenta de una reducción de la pobreza de un 18,7% a 13,7% desde 2003 a 2006, es contradictoria y que su posible falta de veracidad podría poner en riesgo la elaboración de programas sociales”
Pero uno no espera mucho más de los políticos a decir verdad. Lo que es realmente penoso es que gente supuestamente más seria (30 economistas que firman una carta sobre la CASEN por ejemplo) empiece a adquirir los mismos malos hábitos (i.e no revisar la información, no hacer las preguntas a quién probablemente puede responderlas etc.) creo que es más preocupante.
.
Estimado, viste el comunicado de la CEPAL? (http://www.eclac.org/prensa/noticias/comunicados/6/47916/Nota_t%C3%A9cnica_casen_2011_1_31_09309am.pdf). En base a ese documento, algunos de tus puntos serían inexactos.
En el punto 3 dices que la encuesta 2011 es similar a la 2009 en cuanto a las preguntas sobre bonos. Sin embargo, el problema se produjo por la introducción de una nueva pregunta que, a diferencia de las anteriores, incluye tanto bonos anuales como mensuales bajo un mismo nombre de “asignación social”.
Dice la Cepal: “En la encuesta Casen 2011 se incluyó una pregunta (y23) relativa a los ingresos recibidos por concepto de la denominada Asignación social. Como se sabe, éste es un subsidio nuevo, que consta de cuatro elementos posibles: bono base, bono por deberes, bono por trabajo de la mujer y bono anual (noviembre). Esta asignación estaba en proceso de definición al momento de ser diseñado el cuestionario, e incluso uno de sus componentes (bono anual) fue establecido con posterioridad al cierre del mismo, lo que seguramente incidió en que su forma de consignación no considerara por separado el elemento mensual y el elemento anual incluido en los meses de levantamiento de la encuesta (se preguntó de manera agregada por el total recibido el mes pasado). Además, el formato de la colilla de pago, que según instructivo debía ser solicitada, tampoco permitía identificar pagos retroactivos, por lo que sólo es identificable el monto total que recibió ese núcleo familiar, sin conocer el detalle de la composición por tipo de bono ni el período al cual ello corresponde.”
De todas formas, el impacto de este error es limitado. Se decidió incorporar todos estos ingresos como si fueran mensuales, pero “si se excluye la variable AS la pobreza sería 0,15 puntos porcentuales más alta que la reportada y la indigencia 0.1 puntos porcentuales más alta, en tanto que si el total de dicha variable se divide por 12 estos valores serían 0.13 y 0.1 puntos porcentuales respectivamente”.
Respecto al punto 4, reproduces los argumentos del gobierno de que la pregunta y11 no hace más que especificar un ingreso que antes era incluído en una variable general de “otros ingresos”, pero no mencionas que la Cepal indica que la pregunta claramente capta ingresos que antes no se estaban midiendo: “mientras la evolución de la partida otros ingresos registra una caída en sus montos globales entre 2009 y 2011 de 2.152 a 1.477 millones de pesos y en el número de perceptores de 69.934 a 28.602, la variable correspondiente a los ingresos laborales de familiares no remunerados, desocupados e inactivos totalizó la cifra de 24.861 millones de pesos y 205.503 perceptores, vale decir muchísimo más del crecimiento esperado de una corriente de ingreso supuestamente contenida en la variable original.”
En general estoy de acuerdo con el comentario que haces sólo un par de apreciaciones:
Al punto 3, recuerda que dije que más allá del tema de la comparabilidad o de cómo se asigno, el argumento que el cuestionario estaba mal diseñado no corría. En general, de subsidios se preguntó con lógicas similares, y hay cambios de los cuales el cuestionario no podía hacerse cargo (como cambios de subsidio en medio de su aplicación). Si quieres, la manipulación estuvo en la política y en su reporte, pero no tanto en el cuestionario. Lo de la colilla de pago, piensa que es similar a cómo a veces se intenta controlar los errores de reporte en salarios (¿tiene la liquidación?). O sea, se pueden discutir muchas cosas, pero sigo sosteniendo que de ahí a decir que el cuestionario estaba mal hecho creo que hay un trecho.
Al punto 4, efectivamente debí haber puesto que afectaba la comparabilidad (y de hecho la razón para desagregar es que las alternativas desagregadas generan en relación mayor registro de actividades). El caso es que no es tanto el argumento del Gobierno (léase Lavín) como el argumento del equipo técnico de la CASEN, que finalmente estaba reclamando para que se calculara cómo lo habían pensado inicialmente (‘por algo pusimos esa pregunta’). Lo de la CEPAL aquí me suena a, en buen chileno, sacarse los pillos: ¿Por que no respondieron así a la minuta, cuando en la minuta se les indicaba que sí tenían dudas lo comentaran?.
Pero todas estas apreciaciones (y muchas otras cosas que se podrían hacer) son muy distintas del tono en que se ha dado el debate. Insisto, hacerle las preguntas técnicas de la encuesta a Lavín es también una operación comunicacional del mismo modo que hacer mucho bombo por una disminución que en el mejor de los casos está en el margen de error.
En la medida en que se cometió un error en el diseño del cuestionario, éste está mal hecho, y es un error técnico y no político si es que, como dice la CEPAL, los que diseñaron el cuestionario no se dieron cuenta de que debían cambiar la formulación de la pregunta (dividirla en 2) ante un cambio de ultimo minuto en la realidad que buscaban medir. Pero nuevamente, son problemas que impactan muy levemente por lo que armar una alharaca con ellos efectivamente no procede.
Donde discrepo contigo es en hacer un empate moral entre el gobierno y sus críticos. Yo creo que las criticas y la forma cono se hicieron (políticas, por supuesto) son una consecuencia de la forma inédita como el gobierno divulgó los resultados de la encuesta ocultando su ficha técnica e ignorando las consultas sobre ésta. Fue el mismo gobierno quien puso en la arena política la discusión. Fue iniciativa de Lavin aparecer él respondiendo las preguntas de los técnicos en la primera instancia en que el gobierno les dio la oportunidad de hacer consultas. No es coincidencia tampoco que la segunda respuesta oficial del gobierno a las criticas técnicas haya sido una columna de la subsecretaria. Dudo que el objetivo de los críticos haya sido conocer las peculiares interpretaciones del ministro y la subsecretaria sobre cómo se interpreta un margen de error, tiendo a pensar que su objetivo era presionar al MDS para que libere la información que aun oculta.
¿Por qué Lavin se negó a darle la palabra en el seminario del CEP a su jefe de estudios, justamente la persona que estaba en condiciones de responder a las críticas, y que se la pedía con insistencia según su declaración? Tengo la sospecha de que fue por la misma razón por la que no han liberado la ficha técnica, porque no quieren que se sepa el margen de error. Fueron los políticos del gobierno los que marginaron a sus propios técnicos y se pusieron al frente de las críticas. Si hubieran liberado los datos técnicos no habrían tenido que enfrentar la virulencia de los cuestionamientos actuales. Pero tampoco podrían haber dicho que la pobreza disminuyó
No estoy muy interesado en hacer empates morales.
Pero de los políticos no espero nada. Es claro que hay una operatoria comunicacional importante por parte del Gobierno, y hay información que no se ha entregado (todavía no hay documento metodológico, que es donde usualmente se plantea el tema del error muestral). Partí diciendo que si el encargado de estudios sale diciendo por prensa que se sintió manipulado, eso es suficiente. No me explaye mucho porque, bueno, no hay mucha discusión posible ahí.
Pero de otros actores sí tengo más expectativas. Y del hecho que los críticos (y en particular de los no políticos) también hayan entrado en ese juego -lo de las dos muestras, que efectivamente estaba en documentos anteriores. A ellos no los estoy criticando por hacer un empate, sino porque en principio espero más de ellos que situarse a ese nivel.