En enero, la Subsecretaría de Previsión Social publicó las bases de datos de la Encuesta de Protección Social (EPS) 2012, realizada durante el Gobierno de los «mejores», de Sebastián Piñera, específicamente por el entonces Ministro de Desarrollo Social, Joaquín Lavín Infante. ¿Los resultados? Se declaró un producto no logrado, por lo que no se recomienda su uso para la producción de estadísticas oficiales. Esto, pese a que tuvo un costo de $ 312.536.560 y se gastaron más de $ 10 millones en estudios para intentar corregir los datos.
Otra medición fallida: gobierno recomienda no usar datos de Encuesta de Protección Social
Nicole Peña L.
La atención estaba puesta en los problemas del censo y los cuestionamientos a la Casen 2011, cuando en 2012 otro instrumento estadístico fiscal comenzó a incubar un conflicto.
Se trata de la Encuesta de Protección Social (EPS), cuyos resultados sirven de insumo para la elaboración de políticas públicas sobre seguridad social, especialmente en materia de pensiones. Desde 2002, la medición ha estudiado al mismo grupo de personas a lo largo de cinco ediciones, convirtiéndose así en la primera y mayor encuesta-panel del país.
Tiene una muestra de casi 20 mil personas a nivel nacional, la que incluye tanto a trabajadores como a pensionados. Al recopilar información sobre la población afiliada al sistema de pensiones, especialistas afirman que el mayor aporte de la EPS se ha dado en esta área. De hecho, recuerdan que fue una de las primeras fuentes de información sobre densidad de cotizaciones.
Los antecedentes que reporta también sirvieron como base para la reforma previsional de 2008, del primer gobierno de Michelle Bachelet. Y aunque inicialmente la aplicación de la EPS era bianual, en 2008 se postergó hasta abril de 2009, para monitorear con mayor exactitud los efectos de la reforma. Por eso, la medición 2012, o quinta ronda, era clave.
Hoy, cuatro años después, la Subsecretaría de Previsión Social decidió publicar las bases de datos de la EPS 2012, que recibió en 2014 del gobierno anterior. Para sorpresa de los conocedores de la medición, cuyos resultados esperaban desde 2013, esta vez no hubo una presentación oficial ni informes comparables con las ediciones anteriores. ¿La razón? “Esta ronda de la EPS no fue un producto logrado y, por lo mismo, no debe utilizarse con fines de inferencia estadística, como tampoco en el diseño de políticas públicas”, alertó la institución a través de un documento recientemente emitido.
Así, nuevamente la institucionalidad estadística se vio salpicada por debilidades técnicas que derivaron en que una encuesta que se realizaba en promedio cada dos años y cuyo costo bordeaba los $ 452.698.000 -equivalente a casi seis veces el presupuesto para este año del centro de salud de Aysén- terminara declarada inutilizable.
Las cuatro primeras EPS fueron levantadas por el Centro de Microdatos de la Universidad de Chile. En 2012, este trabajo fue adjudicado a la Universidad Alberto Hurtado y, dado que los productos finales no cumplieron con las exigencias técnicas establecidas por contrato, el Fisco cobró los $ 67.904.700 que la casa de estudios había dejado en garantía y rebajó $ 72.256.740. Por ende, el pago final fue de $ 312.536.560.
Tras las falencias técnicas cometidas, el gobierno aplicó cambios que se materializarán en la versión que este año estará a cargo del Centro de Encuestas y Estudios Longitudinales de la UC
Los errores técnicos que invalidaron los resultados
De acuerdo a un dossier de la V Ronda EPS 2012, difundido recientemente por la Subsecretaría de Previsión Social, los problemas de la encuesta surgieron en el trabajo de campo que el Ejecutivo adjudicó al Observatorio Social de la Universidad Alberto Hurtado (Osuah) a través de una licitación ese mismo año.
“En el desarrollo de la V Ronda de la EPS se presentaron una serie de dificultades técnicas e incumplimientos por parte del adjudicatario y sus últimos tres informes fueron rechazados por la Subsecretaría. Se indicó, en ese momento, que se presentaban deficiencias significativas, especialmente en el cálculo de los factores de expansión”, constata el documento.
La cantidad de encuestas logradas fue “inferior a lo establecido en el contrato y a lo requerido para mantener los estándares de calidad de una encuesta tipo panel como la EPS”. Las tasas de respuesta del Osuah, dice el informe, están “muy por debajo de lo esperado, aproximadamente 20 puntos porcentuales menos” que las mediciones anteriores.
En total, cerca de cinco estudios -al menos tres de ellos sumaron más de $ 10 millones- fueron encargados por las administraciones Piñera y Bachelet para ver si las deficiencias se podían subsanar. La conclusión prácticamente unánime fue que los datos recolectados no pueden ser utilizados para la producción de estadísticas oficiales. “La metodología para hacer que los datos de la muestra pudieran representar a toda la población mayor de 18 años en Chile presentaba serias deficiencias tanto en su documentación como en los procedimientos utilizados. Para que una encuesta pueda representar a toda la población se elaboran factores de expansión; los factores de expansión entregados por el adjudicatario no eran los correctos”, explica el informe.
A eso agrega que la V Ronda de la EPS no respetó el diseño original, lo que provocó que algunas comunas y grupos etarios quedaran sobrerrepresentados y otros subrepresentados. También se observó un sesgo en las personas que respondieron versus las que no, asociadas a características de sexo, edad y ubicación geográfica.
“En particular, el Marco Muestral de la EPS 2012 sobreestima a la población de 65 años y más, lo que puede deberse a que los datos no se cruzaron con información de defunciones del Registro Civil”, postula el dossier. De hecho, en algunas comunas la población estimada por el marco muestral de la EPS difirió significativamente de lo estimado por la Encuesta Casen 2011. El caso más extremo fue Santiago, donde según la medición, la población era de 780 mil personas a diciembre de 2011, mientras que la Casen del mismo año indicaba 128 mil personas.
La autoridad considera que “no se realizaron los esfuerzos suficientes para recontactar al panel de encuestados”, precisando que solamente se logró ubicar a aproximadamente 77% de las 18.757 que debía haber conseguido en diciembre de 2012, fecha en que originalmente se había pactado la entrega del informe final.
La disputa por la base de datos
Las primeras tensiones en torno a la encuesta aparecieron en 2011, apenas se instaló el gobierno del ex Presidente Sebastián Piñera. Hasta ese entonces, las cuatro ediciones anteriores (2002, 2004, 2006 y 2009) habían estado en manos del Centro de Microdatos de la Universidad de Chile, casa de estudios que participó en la creación del instrumento.
Pero con la llegada del nuevo gobierno en 2010 se desataron algunos roces con Microdatos cuando la Subsecretaría de Previsión Social, liderada en ese entonces por Augusto Iglesias, estableció en las bases de licitación la obligación de que el adjudicatario entregara a la autoridad las bases de datos del sondeo. Dado que una encuesta panel debe seguir a un mismo grupo de personas a través de los años, esta información era considerada por Iglesias como una pieza clave que no podía ser monopolio del adjudicatario.
Microdatos se opuso a la intención del Ejecutivo, argumentando que acceder a ella significaría violar el secreto estadístico. El tira y afloja provocó que un mes después de haber abierto la licitación, en mayo de 2011, la autoridad decidiera bajarla y declararla desierta.
Pero en el primer semestre de 2012 el Ejecutivo insistió y llamó a licitación bajo condiciones similares. El contrato finalmente estableció que “la identidad de los encuestados deberá quedar en reserva, excepto para la Subsecretaría de Previsión Social, que será responsable de resguardar el secreto estadístico (…). La subsecretaría será la propietaria del archivo que permite vincular RUT y folios de las versiones anteriores de la EPS”.
Así las cosas, Microdatos decidió no postular, por lo que el Observatorio Social de la Universidad Alberto Hurtado (Osuah) fue el único oferente y se adjudicó el trabajo de campo. Esto abriría el capítulo que sellaría el futuro de la medición.
Respuestas alteradas
Bastaron un par de meses desde la adjudicación de la licitación -abril de 2012- para que se presentaran los primeros indicios de dificultades técnicas. La ratificación de los problemas llegó el primer trimestre de 2013, con los resultados de la supervisión externa que la Subsecretaría de Previsión Social encargó a la empresa STATCOM. Esta consistió en reentrevistar una submuestra que a diciembre de 2012 el adjudicatario del proyecto -Osuah- había reportado como logradas y no logradas.
El barrido evidenció problemas en el trabajo de campo, derivados de dificultades para encontrar las direcciones y contactar al grupo en estudio. También se detectaron inconsistencias entre lo que Osuah había reportado como logrado y lo que las personas revelaron al momento de ser reentrevistadas. “En particular, se observó que una proporción de encuestas que habían sido clasificadas como logradas en realidad no lo estaban”, precisa el informe que emitió recientemente la subsecretaría.
A pesar de que esos síntomas fueron detectados en marzo del año 2013, advierte el documento, en ese momento “no se tomaron las medidas correctivas que los subsanaran”. Y asegura que con el diagnóstico de STATCOM “era posible todavía a la mitad del proceso de levantamiento reconvertir encuestas no logradas si se seguía un protocolo riguroso de contacto del cual no hay evidencia que se hubiese implementado”. La Subsecretaría afirma que las autoridades anteriores no dejaron “ningún documento oficial en el que se indiquen directrices a tomar, para agilizar el recontacto de informantes, a partir del informe evacuado por STATCOM. Así como tampoco quedó en actas indicación alguna a este respecto”.
El camino que tomó el subsecretario de la época, Augusto Iglesias, fue solicitar durante ese año nuevos exámenes a especialistas en este tipo de mediciones (Carolina Casas-Cordero, Pablo Marshall, Edmundo Melipillán y Steven Heeringa). Consultado al respecto, la ex autoridad declinó entregar una versión.
Según el historial de la licitación disponible en Mercado Público, en agosto de 2012 la subsecretaría manifestó las primeras dudas, debido a los retrasos que mostraba el Osuah. Desde el comienzo, esta entidad hizo ver a la autoridad que tenía dificultades para contactar al grupo que debía ser encuestado, porque no contaba con el registro de personas de las mediciones anteriores. Esto, por la negativa de Microdatos de revelar la base de datos.
Las razones fueron atendidas por Iglesias, quien aceptó extender el plazo del contrato tres veces, eximiendo de responsabilidades por este motivo a la institución académica. Pero el 11 de diciembre de 2012 el equipo técnico de la subsecretaría pidió a su contraparte redoblar los esfuerzos. A través de un e-mail, les hizo ver que sólo utilizando buscadores simples como “páginas blancas” y Facebook habían logrado contactar en la Región Metropolitana a gente que según el Osuah estaba inubicable.
“El resultado de este control fue que de las 187 personas a las que se llamó (el total de aquellas que presentaban algún dato de contacto telefónico fijo o móvil), el 25% confirmó que la dirección 1 o la dirección 2 entregadas originalmente eran correctas y un 5% adicional entregó una nueva dirección actualizada. Adicionalmente, del 70% que no fue posible contactar telefónicamente (113), 15 fueron encontrados en la pagina web ‘paginas blancas’. De éstos, 11 tenían direcciones correspondientes a una de las tres entregadas y cuatro tenían direcciones nuevas. Finalmente, de los 116 entrevistados faltantes, 31 tenían página de Facebook, por lo tanto, serían alcanzables por este medio a través de correo electrónico”, puntualizó la subsecretaría en la misiva que envió en ese momento a la universidad.
El contrato de la licitación estipulaba que en caso de detectar incumplimientos -por ejemplo, si la calidad del trabajo ejecutado no satisface las exigencias mínimas-, la subsecretaría estaba facultada para poner término anticipado al contrato.
UC levantará encuesta 2016
Pese a los errores detectados en la edición 2012, la Subsecretaría de Previsión Social señaló que decidió liberar las bases de datos “atendiendo a sus obligaciones respecto de la Ley de Transparencia”. Dado el episodio, se tomaron resguardos con la VI EPS que tendrá lugar este año. A través de una respuesta entregada vía e-mail, la institución detalló que consideraron las recomendaciones de un panel de expertos que trabajó durante dos meses en propuestas para mejorar la medición, optando por establecer mayores controles en el seguimiento, supervisión y evaluación de resultados.
Con ese objetivo, modificó la forma de trabajo utilizada hasta 2012, estableciendo “sublicitaciones”. “Para la nueva ronda se optó por un esquema en el que no se dependiera de un único proveedor, de suerte que se ha impreso una mayor competencia en el proceso de ejecución de la encuesta que exige a la subsecretaría un mayor control de cada etapa del mismo y a los proveedores un mayor esfuerzo para ganarse las adjudicaciones”, puntualiza el informe de la subsecretaría.
El trabajo de campo de este año se desarrollará a partir del 15 de marzo y se extenderá por cerca de cuatro meses. Está a cargo del Centro de Encuestas y Estudios Longitudinales de la UC, volviendo así a manos del equipo liderado por David Bravo que -estando en la Universidad de Chile- realizó la encuesta entre 2002 y 2009. Los resultados, afirman involucrados en el proceso, podrían estar listos a fines de 2016.
Por otra parte, el diseño y actualización del cuestionario de la Encuesta de Protección Social 2016 fue adjudicado al Centro de Microdatos de la Universidad de Chile, institución que el 25 de enero fue sancionada con una multa de 11 UF (aproximadamente $ 282 mil) por la entrega tardía del último producto del contrato. Esto corresponde “a 1 UF por cada día de retraso, la que se descontará del estado de pago que corresponda o se hará efectiva en la garantía de fiel cumplimiento del contrato”.
Fuente: La Tercera
 2012, realizada durante el Gobierno de los "mejores", de Sebastián Piñera, específicamente por el entonces Ministro de Desarrollo Social, Joaquín Lavín Infante. ¿Los resultados? Se declaró un producto no logrado, por lo que no se recomienda su uso para la producción de estadísticas oficiales. Esto, pese a que tuvo un costo de $ 312.536.560 y se gastaron más de $ 10 millones en estudios para intentar corregir los datos.){kind=link}