Vos avis sur Confianscore.org : Score de fiabilité intellectuelle collaboratif

Florence-C · Avril 16, 2021, 11:53

Avec @BasileAsti nous venons de découvrir :

Dans un tweet :

(heureuse que CaptainFact soit cité comme modèle avec Wikipédia et de voir d’autres projets prendre en main la problématique de la désinformation)

Comme pour chaque outil et projet relatif au fact-checking, les avis sont les bienvenues sur le forum, afin de faire avancer les réflexions : que pensez-vous de confianscore.org ? Forces et faiblesses ?

Benjamin a bien creusé le sujet dans cet article :
https://medium.com/captainfact/fact-checking-et-score-de-credibilite-politifact-9cf9e4b6cab1

[Opinion] Fact-checking et score de crédibilité : entre subjectivité et fausses interprétations, le cas de PolitiFact
C’est une demande qui revient régulièrement sur CaptainFact : pourrait-on calculer, à posteriori du fact-checking, une note qui jugerait de la factualité des intervenant·e·s ?
Loin d’être de l’ordre de la science-fiction, cette idée est en fait déjà appliquée outre-atlantique par le site https://www.politifact.com qui met en avant ses statistiques de vérification par personnalité. On y découvre que Donald Trump ne dit la vérité que sur 31% des affirmations vérifiées par le service là où son prédécesseur Barack Obama est à 76%.
Lire la suite

Lo1c74 · Avril 17, 2021, 7:34

Merci @Florence-C pour le partage !

Le concept me parait sympa, ça me rappelle une idée qui avais fais l’objet d’un post sur le forum fin d’année dernière: Résumé graphique du fact-checking d'une vidéo.

Cependant, un point me dérange: si le but est de se faire une idée de la fiabilité d’une personne, pour « confirmer ou réfuter » ses propos, il faut se baser sur quelque chose pour le vote (dans notre cas une/des sources).
Par exemple, cette affirmation ne propose aucune source confirmant ou réfutant l’affirmation. La source de l’affirmation ne propose rien non plus. Et pourtant, on a ceci:

Je vois 2 problèmes;

Sans sources, on ne peut pas vérifier si les votes sont basés sur des faits ou sur des opinions.
Le nombre de vote n’est visible à aucun endroit. Je pense que c’est important si l’on veut se faire une idée de la confiance que l’on peut accorder au vote.

Système de réputation

Pour ma part, je vais me focus sur leur système de réputation (vu que c’est mon domaine de prédilection ).

La page Charte et fonctionnement le détaille:

Pour qu’une source soit validée ou rejetée, il faut que 3 conditions soient remplies.
1°) Il faut que suffisamment de personnes aient voté (nombre variable en fonction du nombre d’utilisateur)
2°) Chaque utilisateur a des points de réputation. Une source est validée si le total des points des personnes qui ont voté en faveur de la validation est supérieur à 100. (idem pour rejet)
3°) Un utilisateur ayant le statut d’administrateur doit avoir voté pour cette source.

Je suis moyennement convaincu du point 2: Pourquoi un utilisateur avec un score plus élevé saurait mieux discerner si les propos d’une personne sont fiables ou non ? Est ce que ce n’est pas une sorte d’argument d’autorité ?

Je pense que le point 1 est suffisant et peut être le point 3. J’ai les mêmes réflexions sur ce dernier mais je comprend sa mise en place pour faire face à des comportement abusif ou de spam je pense. Des meilleurs solutions peuvent être recherché mais celle ci est acceptable en espérant la neutralité de point de vue de l’administrateur (mais dans ce cas, il ne faut pas que ce soit un humain pour que ce soit parfaitement neutre…)

Les points de réputation de l’utilisateur est variable. Lorsqu’une source est acceptée (respectivement rejetée), chaque utilisateur ayant voté en faveur de l’acceptation gagne 3 points de réputation (respectivement perd 3 points)

Pour le coup, je suis pas d’accord, les utilisateurs ayant voté dans le « mauvais camp » ont-il forcément tort ? On a le même problème actuellement dans le projet de refonte du système de réputation et nous avons rejeté l’idée de récompenser uniquement les personnes ayant voté la majorité, la vérité est définitivement plus subtile et juger les personnes pour les votes qu’ils ont fait ne nous parait pas envisageable.

Autres

Avant de voter pour une source, tout utilisateur doit préalablement lire cette source. Charte et fonctionnement

Ça me plait ça.

En conclusion, l’idée est bonne mais les parties vote et obtention de la fiabilité me paraissent encore assez préliminaire et ont besoin de travail .

ConfianScoreK · Avril 17, 2021, 1:03

Bonjour,

Je suis le développeur à l’origine de ConfianScore. Je vous remercie d’avoir créé ce sujet et d’avoir pris du temps pour en faire un retour critique. Comme @Florence-C l’a dit, CaptainFact est effectivement une source d’inspiration et ça me fait plaisir de lire ce sujet ici. ConfianScore est très jeune, très très imparfait et @Lo1c74 a formulé beaucoup de remarques qui me paraissent intéressantes. Je vais donc me permettre d’y répondre point par point.

L’idée de base c’est de considérer que dire une chose vraie est normal. Nous ne notons pas le fait de dire un fait vrai et vérifiable. Hors de question d’ajouter par exemple les paroles journalistiques lorsque celles-ci sont correctes. En revanche, si elles sont fausses, ou si elles expliquent correctement pourquoi d’autres paroles sont fausses, nous considérons que c’est intéressant. Nous notons principalement donc, pour faire très simple, deux choses : les fausses informations et les débunkages; et un peu plus généralement, tout ce qui est en mesure de modifier la qualité de l’esprit critique du public.

si le but est de se faire une idée de la fiabilité d’une personne, pour « confirmer ou réfuter » ses propos, il faut se baser sur quelque chose pour le vote (dans notre cas une/des sources).

Je suis d’accord. C’est pourquoi il y a la possibilité d’ajouter un commentaire à la source pour l’expliquer/la contextualiser, ou bien de discuter directement sur l’espace de la source lorsque des utilisateurs ne sont pas d’accord. Le commentaire est facultatif actuellement, mais c’est vrai que dans l’idéal, il devrait être obligatoire. Je ne l’ai pas fait pour l’instant car à peu de chose près, je suis le seul contributeur et je voulais pouvoir compléter beaucoup de profils de façon légère. Mais c’est effectivement une mauvaise chose qu’il faudra changer à l’avenir.
Concernant le nombre de votes, je suis également d’accord. La transparence me parait être une bonne chose, et c’est un point qu’il faudra sûrement modifier.

Je suis moyennement convaincu du point 2: Pourquoi un utilisateur avec un score plus élevé saurait mieux discerner si les propos d’une personne sont fiables ou non ? Est ce que ce n’est pas une sorte d’argument d’autorité ?

Le score de réputation est une façon de décourager les trolls. Je ne pense pas que ce soit totalement un argument d’autorité de considérer qu’un profil avec un score élevé est meilleur pour valider ou réfuter une source. En fait c’est le principe même du ConfianScore en tant que score. L’idée de base de ConfianScore est de dire : « Une personne qui dit souvent des choses fausses/pas vérifiées ne sait pas/ne veut pas partager des informations de qualité. A l’inverse, une personne qui prouve que d’autres paroles sont fausses prouve qu’elle sait au moins parfois comment distinguer le vrai du faux. »
Donc j’ai considéré que 1/ quelqu’un qui a régulièrement voté « correctement » est probablement plus fiable et 2/que les personnes qui voudraient troller seront découragées car leurs votes ne seront rapidement plus pris en compte.
Le nombre de votes seul n’est pas suffisant car on pourrait avoir des raids de pro/anti X qui viendraient ajouter ou retirer n’importe quelle source. Le vote de l’admin ne suffit pas non plus à mon sens, justement pour éviter qu’il ne vote sans être compétent. L’idée c’est en gros : « Beaucoup de gens doivent voter, dont certains dont on sait qu’ils sont fiables car ils ont un gros score, et l’admin n’a plus qu’à valider rapidement qu’il n’y a pas eu un complot de trolls pour faire passer n’importe quoi. »

Pour le coup, je suis pas d’accord, les utilisateurs ayant voté dans le « mauvais camp » ont-il forcément tort ? On a le même problème actuellement dans le projet de refonte du système de réputation et nous avons rejeté l’idée de récompenser uniquement les personnes ayant voté la majorité, la vérité est définitivement plus subtile et juger les personnes pour les votes qu’ils ont fait ne nous parait pas envisageable.

Là je reconnais que je ne suis pas totalement convaincu par ce que j’ai fait. J’avais regardé justement comment CaptainFact faisait, et j’ai temporairement choisi d’adopter cette solution, histoire de commencer quelque part et de voir ce que ça donne. Ça évoluera à coup sûr. Je vous surveiller l’évolution de CaptainFact

Merci beaucoup pour ce retour critique, j’ai bien noté tout ça

Lo1c74 · Avril 17, 2021, 5:39

Bonjour @ConfianScoreK ,

Merci pour tous ces détails, c’est plus clair de mon côté !

Donc si j’ai bien compris, un profil peu fiable résulte d’une personne énonçant des propos faux, un profil fiable résulte d’une personne débunkant des propos faux. Je me demande s’il n’y a pas un biais de sélection, je m’explique: d’après ce que tu dis, si une personne énonce des affirmations fausses 1% du temps et si elle ne débunk pas, son profil sera très peu fiable ? Si oui, comment mettre en avant les 99% d’affirmation vrais qui, si j’ai bien compris, ne sont pas ajouté au site ?

Et c’est bien le « totalement » et le « probablement » que je voulais soulever. Sans argumentation ou apport de source, il me parait difficile d’éliminer l’argument d’autorité. Pauvre humains que nous sommes, nous sommes imparfaits et sujets à des biais. Ne pas appuyer le vote d’une personne sur une argumentation permettant de mettre en évidence ses biais et ses rhétoriques fallacieuses et sur une source permettant de vérifier la véracité des faits annoncés me parait être une faille.
Mais je comprend totalement le pourquoi de ce système, empêcher les trolls est une tâche ardue.

Oui c’est un problème très compliqué, je veux bien te l’avouer .

Si tu as du temps un jeudi soir à 20h, nous avons un rendez-vous hebdomadaire réservé pour discuter du sytème de gamification de la plateforme. Ton problème étant très similaire au notre, ce sera avec plaisir que l’on discutera de ça plus en détails et de vive voix afin de brainstormer collaborativement !

ConfianScoreK · Avril 17, 2021, 5:58

Dans les choses qui permettent de faire augmenter la note, il y a aussi le fait de reconnaître son erreur. Si une personne dit un truc faux, sa note va baisser, mais si elle s’excuse et reconnait sans ambiguïté son erreur, son score va remonter (moins qu’il n’aura baissé ceci dit). Je pense que le fait de reconnaître son erreur est un gage de fiabilité. Il y a d’autres éléments qui permettent de faire monter le score. La liste complète avec les coefficients d’importance est ici : https://confianscore.org/tags. C’est bien évidemment imparfait, discutable et sujet à modification, à tous les niveaux. Je ne suis pas du tout certain des catégories ni des coefficients ni même si ce système de coefficients fixes par catégorie est bon. J’essaye quelque chose.

Ceci étant, si la personne ne s’excuse pas alors qu’elle dit tout le temps des trucs vrais par ailleurs, sans rien faire d’autres qui pourrait monter sa note, elle aura effectivement un mauvais ConfianScore. Il faudra voir « philosophiquement » ce que ça veut dire. Je me dis que ça permettrait peut-être d’afficher le fait que certains professionnels (type Raoult ou Montagnier) qui ont été très réputés à une époque, donc qui ont (je suppose) dit beaucoup de choses vraies mais persistent dans l’erreur ensuite, manquent d’honnêteté et/ou de méthode. C’est une supposition de ma part, à l’heure actuelle.

Je suis entièrement d’accord avec toi. Je pense qu’il faudra voir à l’usage. J’envisage également, dans l’improbable et hypothétique cas où le site deviendrait un peu gros, que les admins soient élus par la communauté. J’essaye de faire une sorte d’équilibre des pouvoirs au niveau de la validation des sources. Mais évidemment, tant que rien n’a été réellement éprouvé dans des conditions réelles, tout ça est très hypothétique.

Avec plaisir. En plus, je suis en train de lire le code de l’API pour essayer vraiment de m’approprier le sujet et être en mesure de contribuer. J’espère pouvoir venir faire coucou bientôt.