Por qué fallan las encuestas aunque pregunten a 17.000 personas

Una encuesta electoral entrevista a unos miles de personas que se parecen al electorado y convierte sus respuestas en una estimación con un modelo. Su margen de error solo mide el azar. En las generales de 2016 a 2023 el CIS se desvió de media entre 1,5 y 4,5 puntos por partido, con márgenes menores de un punto.

• La ley obliga a publicar con cada encuesta el sistema de muestreo, el tamaño de la muestra, el margen de error y las fechas del trabajo de campo, y la Junta Electoral Central vigila que se cumpla (artículo 69 de la LOREG).
• En noviembre de 2019 el CIS entrevistó a 17.650 personas, declaró un margen de 0,75 puntos y estimó a Vox en el 7,9 %. Vox sacó el 15,08 % de los votos válidos.
• Del 24 al 28 de noviembre de 2026 no se podrá publicar ni difundir ninguna encuesta sobre el 29-N, porque la ley lo prohíbe en los cinco días anteriores a la votación (artículo 69.7).

Detrás de cada titular sobre quién ganaría las elecciones hay un procedimiento con tres fases, y cada una puede torcer el resultado a su manera. Primero se elige a quién preguntar, después se pregunta y por último se transforma lo que la gente ha dicho en un reparto de votos. El margen de error que acompaña a cada sondeo solo describe la primera fase, y en el supuesto más favorable. Comparar las estimaciones preelectorales del Centro de Investigaciones Sociológicas (CIS) con los resultados oficiales del Ministerio del Interior permite ver cuánto pesan las otras dos.

Cómo se hace una encuesta electoral

El punto de partida es el universo, que en el CIS es la población con derecho a voto en las generales y residente en España. De ese universo se extrae una muestra que debe reproducir su composición. En el preelectoral de 2016 el CIS la repartió en estratos que cruzaban cada provincia con siete tamaños de municipio, desde los de menos de 2.000 habitantes hasta los de más de un millón, y fijó cuotas de sexo y edad, según la ficha técnica del estudio 3141.

El reparto entre provincias no es proporcional a su población. Aquel año el CIS hizo 187 entrevistas en Soria y 770 en Madrid, porque con menos casos no podría decir nada de las provincias pequeñas, y después corrigió el desequilibrio con coeficientes de ponderación. Las respuestas de Madrid se multiplicaron por 3,06 y las de Soria por 0,19.

La forma de llegar a la gente también ha cambiado. En los preelectorales de 2016 y de 2019 los encuestadores iban a los domicilios por rutas aleatorias. En junio de 2023 las 29.201 entrevistas se hicieron por teléfono, el 73,8 % a móviles y el 26,2 % a fijos, según la ficha del estudio 3411. Cada método deja fuera a gente distinta, a quien no abre la puerta o a quien no coge una llamada de un número desconocido, y si los que no contestan votan diferente que los que sí, la muestra se tuerce aunque sea enorme.

Lo que se obtiene así es la intención directa de voto, y el propio CIS advierte en sus informes que ese dato no proporciona por sí mismo ninguna proyección de resultados. En marzo de 2019 el 25,3 % de los entrevistados aún no había decidido su voto y otro 8,2 % no quiso contestar. Para pasar de ahí a una estimación, el CIS pondera la muestra por el recuerdo de voto en las anteriores elecciones y aplica un modelo que relaciona la intención con otras variables, como la valoración de los líderes o la probabilidad de ir a votar. En abril de 2019 usó 108 variables, en noviembre 89 y en 2023, 39. Es lo que en el oficio se llama la cocina, y Capitol explicó la del CIS en por qué su estimación no coincide con lo que dice la gente.

Qué mide el margen de error y qué no

El margen de error de una ficha técnica responde a una pregunta muy concreta. Si la muestra se hubiera sacado por sorteo puro entre todos los electores, ¿cuánto podría desviarse por simple azar? Con 29.201 entrevistas, un nivel de confianza del 95,5 % y el caso más desfavorable, el de un partido al 50 %, la respuesta es 0,6 puntos. Para un partido del 12 % el margen teórico baja a unas cuatro décimas.

Ninguna encuesta electoral cumple ese supuesto. Las cuotas, la elección de municipios y secciones y la ponderación agrandan el error real, y hay fuentes de desviación que ninguna fórmula recoge. Una es la falta de respuesta de grupos concretos de votantes. Otra, el llamado voto oculto, el de quien no reconoce ante un encuestador que votará a un partido mal visto en su entorno. La tercera es la participación, porque la encuesta pregunta a quien quizá no vote. La última es el tiempo, ya que la gente sigue decidiendo después de que acaba el trabajo de campo. Entre el último día de entrevistas del CIS y la votación pasaron 35 días en 2016, 41 en abril de 2019, 28 en noviembre de ese año y 26 en 2023.

Por qué fallan las encuestas, cuatro elecciones del CIS

Capitol ha comparado la estimación sobre voto válido de los cuatro preelectorales del CIS (estudios 3141, 3242, 3263 y 3411) con los resultados definitivos que publica el Ministerio del Interior, partido a partido, para las cuatro primeras fuerzas de cada elección. El mejor año fue abril de 2019, con un desvío medio de 1,48 puntos, casi el doble del margen de su ficha. El peor, noviembre de 2019, con 4,47, casi seis veces el margen.

Noviembre de 2019 enseña casi todos los problemas a la vez. El CIS dio al PSOE el 32,2 % y sacó el 28,0 %, situó a Ciudadanos en el 10,6 % y se quedó en el 6,80 %, y estimó a Vox en el 7,9 % cuando obtuvo el 15,08 %, un desvío de 7,2 puntos con una muestra de 17.650 personas. Un error de ese tamaño no se explica por el azar de la muestra. Los datos públicos no permiten separar cuánto se debió a votantes que cambiaron en las cuatro semanas finales y cuánto a votantes que la encuesta no captó, pero ese mismo estudio tenía a un 20,3 % de entrevistados sin decidir y a un 9,2 % que no contestó.

Los errores tampoco se reparten al azar entre partidos. En 2016 el CIS dio al PP el 29,2 % y obtuvo el 33,01 %, mientras que a Unidos Podemos y sus confluencias les atribuyó el 25,6 % y sacaron el 21,15 %. En 2023 situó a Sumar en el 16,4 % y logró el 12,33 %, unas diez veces su margen teórico, mientras que al PP le dio el 31,4 % y sacó el 33,06 %. En tres de las cuatro elecciones el CIS se quedó corto con el PP, y en las tres el error superó el margen de su ficha. Cuando varias encuestas comparten el mismo sesgo, hacer muchas no lo corrige.

Por eso la ley no regula si una encuesta acierta, sino que se pueda comprobar cómo se ha hecho. El artículo 69 de la LOREG exige publicar quién la ha hecho y quién la ha encargado, sus características técnicas y el texto íntegro de las preguntas, permite a la Junta Electoral Central pedir información complementaria y obliga a los medios a rectificar en tres días si la Junta lo requiere. Si la encuesta la hace un organismo público durante el periodo electoral, los partidos pueden pedir sus resultados y deben recibirlos en 48 horas.

Para el lector, la ficha técnica es la primera pista y no la última. Conviene mirar sobre todo las fechas del trabajo de campo y desconfiar del sondeo que se aparta de los demás. La diferencia entre lo que dan unas casas y otras se puede seguir en el análisis del sesgo de cada encuestadora, y todas las encuestas publicadas sobre el 29-N, con su media, están en el agregador de encuestas de Capitol. El calendario completo de la campaña y de la prohibición de publicar sondeos está en el especial de las elecciones generales del 29-N.