https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-2

Et vérifier la taille des échantillons pour chaque hypothese.

https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-4/

https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-12/

http://www.commission-des-sondages.fr/notices/files/notices/2021/juillet/9197-p-elabe-bfm.pdf

• 20210830_harris : inversion du report des votes au 2nd tour pr MLP et EM.

• 20210927_harris: nom de Valérie Pécresse remplacé par Xavier Bertrand dans l'hypothèse Pécresse.

• 20210923_odoxa: hypothèse Valérie Bertrand au lieu de Valérie Pécresse.

• 20210913_elabe: la certitude dans l'hypothèse Valérie Pécresse est de 45 pas 44; les chiffres du report au 2nd tour sont les mêmes avec et sans Éric Zemmour dans l'hypothèse Xavier Bertrand; erreur d'un pt de % dans les intentions exprimées.

• 20210822_ipsos: mauvais chiffres pr le nbr de personnes ne se prononçant pas (nspp) pr Wauquiez et Barnier.

• 20210705_harris: la certitude au 2nd tour est de 84% pas 65%.

• 20210607_harris: la sûreté du choix est de 66% pour Baroin et Bertrand.

• 20210517_harris: la certitude des non exprimés au 2nd tour est de 72%.

http://www.commission-des-sondages.fr/notices/files/notices/2021/mai/9139-p-ifop-le-figaro.pdf

Voilà un dataset qui contient toutes les données des législatives depuis 1958 présentes sur data gouv, nettoyées et standardisées.

Avant 1993, ce sont les données de Sciences Po et celles du ministère après.

Les données sont par départements/circonscriptions/communes/bureaux de vote. En comparant ces différentes niveaux vous verrez qu'il y a parfois des différences dans les datasets, soit parce qu'il manque les données de l'outre-mer/français de l'étranger soit parce qu'il y a des erreurs, par exemple des départements ou des communes absentes.

Voilà la fonction que j'ai utilisée pour nettoyer les données du ministère. Marche aussi pour tous les autres types d'élections a priori.

En espérant que ça vous aide un peu!

Un petit guide des données que l'on utilise pour mesure la popularité du président Emmanuel Macron.

Ifop

L'étude qui nous intéresse chez Ifop est le Tableau de bord de la vie politique.

• "Approuvez-vous ou n’approuvez-vous pas l’action d’Emmanuel Macron comme président de la République ?"
• Choix binaire approuve / n'approuve pas

Elabe

Il y a deux types d'étude chez Elabe. D'abord Les Français et Emmanuel Macron:

• "De manière générale, comment jugez-vous l’action d’Emmanuel Macron en tant que Président de la République ?"
• "Elle est satisfaisante" / "Il est encore trop tôt pour se prononcer" / "Elle est décevante"

Puis L'Observatoire politique

• "Faites-vous confiance ou pas confiance au Président de la République, Emmanuel MACRON, pour affronter efficacement les principaux problèmes qui se posent au pays ?"
• "Tout à fait confiance" / "Plutôt confiance" / "Pas vraiment confiance" / "Pas confiance du tout" / "Sans opinion"

La première étude pourrait être prise en compte en introduisant un nouveau house effect différent pour cette question. Cependant nous n'avons pas de recul historique suffisant sur cette question (contrairement à l'autre) pour pouvoir l'inclure.

Harris

Odoxa

On s'intéresse au Baromètre politique

• "Diriez vous qu’Emmanuel Macron est un bon président de la République ?"
• "Oui" / "Non"

BVA

Kantar

Baromètre politique

• "Faites-vous tout à fait confiance, plutôt confiance, plutôt pas confiance ou pas du tout confiance à Emmanuel Macron pour résoudre les problèmes qui se posent en France actuellement ?"
• "Tout à fait confiance" / "Plutôt confiance" / "Pas vraiment confiance" / "Pas confiance du tout" / "Sans opinion"

Ipsos

On s'intéresse au Baromètre politique

• "Quel jugement portez-vous sur l'action d’Emmanuel Macron en tant que président de la République ?"
• "Très favorable" / "Plutôt favorable" / "Plutôt défavorable" / "Très défavorable" / "Sans opinion"

https://github.com/marketplace/actions/dynamic-badges
http://schneegans.github.io/tutorials/2020/08/16/badges

To get the total number of polls in a file:

jq -r '.sondages | keys[]' presidentielles.json | wc -l

We can add badges showing:

• The number of polls for the current presidential election
• The total number of historical polls
• The number of polls for popularity

Possible dès que la notice est disponible sur le site de la commission des sondages.

https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-1/

Les données fournies par le ministère de l'intérieur ne le sont pas dans un format exploitable (une aberration!); nous les avons récupérées sous façon brutes et il faudrait les mettre à disposition toutes sous le même format.

Présidentielles

💡 la nuance politique ne devrait pas être encodée dans les fichiers bruts pour que l'on puisse éventuellement proposer plusieurs classification.

• Ajouter la liste des candidats, partis

Échelon national

• 1965
• 1969
• 1974
• 1981
• 1988
• 1995
• 2002
• 2007
• 2012
• 2017

Départemental

• 1995
• 2002
• 2007
• 2012
• 2017

Communal

• 1995
• 2002
• 2007
• 2012
• 2017

Européennes

• 1994
• 1999
• 2004
• 2009
• 2014
• 2019

Législatives

• 1993
• 1997
• 2002
• 2007
• 2012
• 2017

Régionales

⚠️ La définition des régions a changé en cours de route !

• 1998
• 2004
• 2010
• 2015
• 2020

Départementales

• 1992
• 1994
• 1998
• 2001
• 2004
• 2008
• 2011
• 2015
• 2020

https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-5/

We use a pydantic data model to check the validity of poll data. We should create a package and use this model across applications to read the poll data.

On ne prend que les sondages diffusés après la publication de la liste officielle. La liste n'est peut-être pas exchaustive?

Premier tour

1. Opinionway sort un nouveau sondage tous les quelques jours, mais avec des échantillons qui se chevauchent. On fait en sorte qu'il n'y a pas d'intersection entre les échantillon en prenant des sondages suffisamment éloignés; Il est d'ailleurs possible qu'ont soit trop aggressif en n'en prenant qu'un par semaine;
2. Idem avec l'Ifop et son rolling

• Odoxa 21 avril
• BVA 21 avirl
• Ifop 21 avril
• OpinionWay 21 avril
• Ipsos 20 avril
• ELABE 21 avril
• Harris 19 avril
• BVA 19 avril
• Ipsos 17 avril
• Kantar 17 avril
• ELABE 17 avril
• BVA 15 avril
• Odoxa 14 avril
• Ifop 14 avril
• Ipsos 13 avril
• ELABE 13 avril
• Harris 13 avril
• OpinionWay 14 avril
• ELABE 11 avril
• Ifop 11 arvil
• Ipsos 11 avril
• Kantar 9 aril
• BVA 8 avril
• Harris 7 avril
• Opinionway 7 avril
• Ifop 6 avril
• Odoxa 7 avril
• ELABE 5 avril
• Harris 6 avril
• Ifop 3 avril
• Ipsos 3 avril
• Opinionway 31 mars
• BVA 31 mars
• Odoxa 31 mars
• ELABE 29 mars
• Ifop 29 mars
• Ipsos 28 mars
• Ifop 24 mars
• Opinionway 24 mars
• BVA 25 mars
• Harris 23 mars
• ELABE 21 mars
• Ifop 21 mars
• Odoxa 19 Mars

Second tour

• Ipsos 5 mai
• Ifop 5 mai
• Harris 5 mai
• Odoxa 4 mai
• Ipsos 4 mai
• Elabe 4 mai
• Opinionway 4 mai
• BVA 2 mai
• Ipsos 1er mai
• Ifop 2 mai
• Elabe 2 mai
• Kantar 30 avril
• Ipsos 29 avril
• BVA 28 avril
• Odoxa 27 avril
• Harris 27 avril
• Ifop 27 avril
• Opinionway 27 avril
• Elabe 24 avril
• Ifop 24 avril
• Ipsos 23 avril
• Harris 23 avril

Ce que contient le repo, comment contribuer, etc.

http://www.commission-des-sondages.fr/notices/files/notices/2021/avril/9122-p-ipsos-cevipof-le-monde.pdf

https://www.google.com/amp/s/www.leparisien.fr/amp/elections/presidentielle/sondage-presidentielle-macron-en-tete-rien-nest-joue-entre-pecresse-et-bertrand-03-09-2021-ARNDX7FXZ5HWLDQYRYVHUSOMYU.php

Beaucoup de discussions autour des incertitudes, notamment Zemmour. Bon moment pour intégrer l'incertitude liée à l'imprécision de la mesure?

Bonjour et merci pour votre travail,

La dernière version de votre fichier https://github.com/pollsposition/data/blob/main/sondages/presidentielles_2017.json comporte une valeur manquante ligne 200 qui le rend imparsable.

On ne considère que les sondages effectués après le dépot des listes, à moins de 30 jours de l'élection:

• Ifop 24 mai
• Harris 24 mai
• Elabe 24 mai
• Ipsos 23 mai
• OpinionWay 22 mai
• BVA 21 mai
• Harri 21 mai
• Elabe 21 mai
• Ifop 20 mai
• Harris 19 mai
• Harris 17 mai
• Harris 15 mai
• Ifop 16 mai
• Elabe 14 mai
• OpinionWay 15 mai
• Harris 12 mai
• Ifop 10 mai
• Harris 9 mai
• Kantar 8 mai
• Elabe 7 mai
• Harris 7 mai
• Opinionway 6 mai
• Ifop 6 mai
• Harris 5 mai

J'ouvre une issue car j'ai l'impression de ne pas comprendre certaines méthodologies. Or il est important de les classifier correctement pour notre modèle.

Pour l'instant, sur les sondages Elabe, il est indiqué que la base est l'ensemble des gens dont la probabilité d'aller voter est comprise entre 8 et 10. Or:

1. On trouve des taux de nspp comparables à ceux des sondages d'Harris interactive sur la base des inscrits
2. Il est fait vaguement référence dans les notices à la commission des sondages au fait que cette distrinction ne serait faite que pour faire le redressement

C'est important!

S'inspirer de ce qui a été fait pour les sondages.

Sinon où mettre la liste des candidats ?

Commençons par recenser les questions qui concernent l'abstention dans les sondages disponibles et voir si l'on peut normaliser tout ça.

Ifop

Voir cette notice par exemple.

Base: Inscrits sur les listes électorales
Q : Vous personnellement, envisagez-vous d'aller voter à l’élection présidentielle qui aura lieu en 2022 ?
A: Oui | Non

Base: Aux personnes inscrites sur les listes électorales envisageant d’allervoter à la prochaine élection présidentielle
Q: Et diriez-vous que... ?
A: C’est tout à fait certain | C’est pratiquement certain | Il y a de grandes chances | Ce n’est pas certain

Harris interactive

Voir cette notice par exemple.

BAse: Inscrits sur les listes électorales
Q: Si le premier tour de l’élection présidentielle avait lieu dimanche prochain, seriez-vous tout à fait certain(e), plutôt certain(e), plutôt pas certain(e) ou pas du tout certain(e) d'aller voter
A: tout à fait certain(e) | plutôt certain(e), | plutôt pas certain(e) | pas du tout certain(e) d'aller voter

Elabe

BAse: Inscrits sur les listes électorales
Q: Sur une échelle allant de « 0 » à « 10 », quelle est la probabilité que vous alliez voter à l’élection présidentielle qui aura lieu en avril 2022 ? Sachant que 0 signifie que vous êtes tout à fait certain de ne pas aller voter et 10 que vous êtes tout à fait certain d’aller voter. Les notes intermédiaires vous permettent de nuancer votre intention.
A: 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10

Ipsos

Base: Inscrits sur les listes électorales
Q: Le premier tour de l’élection présidentielle aura lieu le 10 avril 2022. Pouvez-vous donner une note de 0 à 10 sur votre intention d’aller voter lors du premier tour de l’élection présidentielle ? 0 signifiant que vous êtes vraiment tout à fait certain de ne pas aller voter et 10 que vous êtes vraiment tout à fait certain d'aller voter.

http://www.commission-des-sondages.fr/notices/files/notices/2021/avril/9114-p-elabe-bfmtv.pdf

Les données historiques commencent à prendre beaucoup de place, avec plusieurs fichiers qui dépassent les 50 Mo, et ce n'est plus vraiment tenable sur le repo. Il faut donc réfléchir à une stratégie alternative de stockage des données.

Une solution envisageable est de stocker les fichiers dans un espace type Object Storage sur OVH et de construire une librairie qui permet de télécharger des données facilement. Ce qui se fait beaucoup e.g. pour les jeux de données en deep learning.

<insérer liste ici>

La sûreté du vote est (devrait) être un paramètre essentiel du modèle. C'est en partie ce qui a évité au modèle de 538 de se casser la figure avec trop de confiance en 2016.

https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-7/

https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-8/

Il y a pas mal de données d'ancien projets et le repo est maintenant dififcilement lisible.

http://www.commission-des-sondages.fr/notices/files/notices/2021/avril/9113-p-ifop-jddpdf.pdf

https://harris-interactive.fr/opinion_polls/barometre-dintentions-de-vote-pour-lelection-presidentielle-de-2022-vague-6/

http://www.commission-des-sondages.fr/notices/files/notices/2021/juin/9190-presidentielles-ifop-le-point.pdf

Ce document décrit le format de données utilisé pour enregistrer les résulats des élections présidentielles ainsi que les sondages qui les concernent.

Résultats d'élections

Le format de données ne devrait pas être sujet à controverse. Le fichier est, au niveau 0 de la hiérarchie, une map qui lie une année à la structure suivante:

"premier_tour" : {
    "source": str  # lien vers la source de la donnée
    "inscrits": int,
    "votants": int,
    "exprimes": int,
    "resultats": Dict[str, int]
},
"second_tour": {}  # idem premier_tour

• Comment prendre en compte les différents échelons auxquel les résultats sont donnés?

Sondages d'intentions de vote

On remplit d'abord pour chaque sondage quelques informations de base:

• nom court AAAAMMJJ_<nom de l'institut>
• nom de l'institut institut
• date de debut de l'enquete date_debut
• date de fin de l'enquete date_fin
• date a laquelle on rentre les resultats du sondage
• source utilisée pour remplir les donées (lien vers la notice habituellement) source
• la méthode utilisée pour réaliser le sondage methode
• nombre de personnes interrogees interroges

Puis les résultats

• Les intentions pour le premier tour premier_tour
• Les intentions pour le second tour second_tour
• Les reports premier tour/second tour reports
• L'estimation de la participation participation

La participation

[A COMPLETER]

Les instituts estiment et communiquent la participation de deux manière différentes:

• Un chiffre brut
• Un histogramme qui donne la % de gens qui pensent aller voter avec une certitude de 10, 9,... 1.

Intentions pour le premier et le second tour

Echantillon, base, etc

Interrogés

Toutes les notices donnent le nombre d'interrogés qui sont inscrits sur les liste électorales. Pas besoin de donner le nombre de personnes interrogées car cela n'apporte aucune information. Ici, interroges voudra dire interrogé et inscrit sur les listes électorales.

Base

La plupart du temps les résultats ne sont pas communiqués sur la base des inscrits mais sur un ensemble plus restreint. On a recensé les bases suivantes:

• Inscrits, que l'on notera I
• Inscrits sûrs de voter, que l'on notera SV
• Inscrits sûrs de voter et sûrs de leur choix, que l'on notera SVC

Parmi les gens interrogés tout le monde n'exprime pas d'opinion. On note le nombre de personnes qui expriment une opinion intentions_exprimees. On note le pourcentage de personnes ne s'étant pas prononcées nspp.

Gérer plusieurs hypothèses

Options pour les résultats avec plusieurs hypothèses. Il est pratique de donner un nom à chaque hypothèse pour pouvoir les retrouver plus facilement par la suite. Les résultats correspond à une hypothèse ont donc la structure suivante:

premier_tour: {
    "machin": {
        hypothese: "Machin candidat du centre-centre-centre droit",
        base: str,
        nspp: float
        intentions_exprimees: int
        intentions: Dict[str, float]
    }
}

Mais ce format a des difficultés dès lors qu'il n'y a plus qu'un scénario testé. Il vaut donc peut-être mieux utiliser une liste à la place. Lorsqu'il n'y a qu'un scénario, le champ hypothese est null:

premier_tour: [
    {
        hypothese: null,
        base: str,
        nspp: float
        intentions_exprimees: int
        intentions: Dict[str, float]
    }
]

La sûreté du vote

Il est primordial de noter la sûreté du vote car c'est un facteur important dans l'incertitude du modèle. Il y a plusieurs cas de figure:

1. La sûreté est donnée pour chaque candidat;
2. La sûreté moyenne est donnée;
3. La sûreté n'est donnée que pour certains candidats.

On suivra le format suivant:

certitude: {
    ensemble: Optional[float],
    detail: Optional[Dict[str, float]]
}

Lorsque la certitude est donnée pour chaque candidat, detail est un dictionnaire candidat -> certitude. Si un candidat est absent il n'apparaît pas dans le dictionnaire. Si une certitude globale est donnée, elle va dans le champ ensemble. Si rien n'est donné, les deux champs sont null.

Reports du premier au second tour

Les reports de voix du premier au second tour sont une information importante pour le modèle. Pour éviter de répéter les noms des candidats on donnera à ce champ la structure suivante:

{
    "hypothese": Optional[str]
    "candidats_premier_tour": List[str]
    "candidats_second_tour": List[str]
    "reports": List[List[float]]
}

`

Les candidats

Il peut être utile de recenser tous les candidats et certaines informations à leur sujet (parti, nuance politiques). Pour éviter de multiples répétitions les informations sont enregistrées séparémment des sondages, à la fin du fichier:

{
    sondages: {}
    candidats: {}
}

Accessoirement, cela évite d'avoir à rentrer le nom des candidats en dur dans le script de validation.