1ère vérif d'un fait "général": compte rendu et demande de conseil

Bonjour à tous,

Hier, j’ai décidé de m’attaquer à cette citation du documentaire « Mal traités ». C’est la première vérification sur CaptainFact que j’ai réalisé concernant une affirmation général scientifique, sans indice dans quel sens chercher et m’obligeant à faire une revue de la littérature. La loi de Brandolini a pris alors tout son sens :smile:. Après un premier essais hier d’une grosse heure, j’ai abandonné (surement à cause de la fatigue) mais j’ai remis ça dans l’après midi.

J’ouvre ce poste pour faire un compte rendu de ma « méthodologie » imparfaite en espérant que vous pourrez me donner des conseils et trouver des « failles » potentiels biaisant mes recherches (étant donnée que c’est ma première recherche de cette ampleur sur CF).

La premier réflexe pour moi a été de me rendre sur Google Scholar et de noter, en anglais, les termes que j’ai jugé le plus représentatif de la citation: « Vitamin D cancer prevention meta analysis ». J’ai choisi de me concentrer sur des méta analyse car elle représente pour moi, le plus haut niveau de preuve permettant de se représenter plus rapidement l’état du débat scientifique sur le sujet (je suis assez en accord avec l’échelle de preuve proposée par Mr Sam sur Youtube => ici).

C’est là que ça s’est compliqué pour moi. N’ayant vraisemblablement pas de connaissance technique sur le sujet, je me suis basé sur plusieurs points:

  • Le nombre de citations de l’article proposé par Google Scholar (et en second temps et moindre mesure par le site hébergeant l’article). Je pense que Google à les ressources nécessaire pour donner une estimation la plus globale possible même si je n’ai aucune idée du comment derrière l’écran.
  • Le facteur d’impact de la revue ayant publié l’article. Même si j’ai cru comprendre qu’il peut être biaisé, c’était pour moi l’indicateur le plus facile à trouver pour me faire un avis général sur la revue (je suis d’ailleurs preneur pour des sources me permettant de comprendre un peu plus les différents indicateurs permettant d’ordonner les articles).

Il y a des points que je n’ai pas investigué et dont j’ai conscience:

  • Les auteurs: leur parcours, domaine d’expertise, conflit d’intérêt, etc.
  • La dates de dépôt des études pour établir une chronologie
  • Les type d’études choisies (randomisé, en double aveugle, prospective, etc). D’ailleurs je suis aussi preneur pour des sources résumant bien les différence et établissant un classement (si il est possible de faire un classement).

Mon niveau d’anglais technique dans ce domaine n’étant pas super, j’ai basée mes traductions sur DeepL pour comprendre les passages un peu compliqué. Je me demande d’ailleurs dans quel mesure il est sujet à des biais :thinking:.

Je me suis concentré sur les 2 premières pages (environ) des résultats de Google Scholar pour pas y passer non plus trop de temps.

Après avoir trié selon les points décrit plus haut mais pas de façon assez rigoureuse, je pense (je n’ai pas établit de score explicite), j’ai regardé le résumé pour voir si l’article était bien en relation avec le sujet, ensuite les résultats et la conclusion. Ce qui m’a amené à la synthèse que j’ai mis en commentaire.

Quelques points en plus:

  • La conclusion d’une étude a retenu mon attention car je l’ai trouvé plus engagé sur le côté « politics » que les autres. Dans cette étude, on peut lire à la fin de la conclusion: « The time has arrived for nationally coordinated action to substantially increase intake of vitamin D and calcium. ». J’ai décidé d’être plus prudent car elle débordait du plan technique. Est ce que j’ai eu tort de faire ça ?

En conclusion, c’est un travail de fourmis mais c’est valorisant, j’ai vraiment l’impression d’avoir pris une décision de façon un peu plus bayésienne (et je me rend compte aussi que je pourrai pas faire ça pour tout :smile:) et je pense que je retiendrais plus longtemps cette information au contraire des dizaines d’infos que je me met sous les yeux chaque jours. Au moins je n’aurais pas de mal a expliqué pourquoi j’ai cet avis sur ce sujet.

Hâte de vous lire ! :smiley:

2 J'aimes

Alors pour commencer, Chapeau bas pour tes recherches, et ta lecture de contenu scientifique, qui, pour ma part, me dépasse largement.
D’une manière générale, ta démarche est excellente, chercher des sources, vérifier leur véracité, diversifier les sources… Rien à redire.
Tu as également pris le soin de ne pas prendre position (Réfute/Confirme) puisque le résultat de tes recherches ne t’ont pas permis de trancher, tout en exposant aux visiteurs les raisons qui t’ont poussé à ne pas réfuter (Pas de consensus, ou pas de preuve irréfutable).

SI je peux me permettre un point pour parfaire ta démarche, c’est de chercher des sources qui confirment, autant que des sources qui réfutent. L’idée c’est aussi de pouvoir aborder une affirmation comme une théorie scientifique, il faut la mettre à l’épreuve. Y-a-t-il des observations qui la confirme, au contraire qui la réfute, existe-t-il des théories alternatives plus pertinentes, et enfin (Mais tu l’as déjà fait), y a-t-il un consensus pour confirmer ou réfuter la théorie (Ici une affirmation). Mais on s’approche presque tu travaille de journaliste, que de la vérification d’information.

Sincèrement, j’admire les personnes comme toi, qui ont les capacités de décrypter les articles scientifiques, je t’envie.

Si en plus, tu y a tiré un bénéfice personnel, c’est tout bon.

1 J'aime

Je suis d’accord avec cette démarche. Sur mes recherches, je n’ai trouvé qu’une seule méta analyse qui allait à l’encontre des autres études mais elle se concentrait sur un sous ensemble (de ce que j’ai pu comprendre) du sujet initial, j’ai donc décidé de l’écarter. Mais si j’avais vu des études allant dans l’autre sens, j’en aurait pris compte dans ma synthèse. Malheureusement, l’état du débat ne semble pas très houleux sur ce sujet :grin:.

Merci pour ton retour ! :slightly_smiling_face:

Je vais essayer de te donner mon point de vue et ma façon de faire sur au moins la première étude que tu as posté.

Cette étude, portant sur le cancer colorectal, publiée dans « American Journal of Preventive », émet moins de réserve sur la conclusion: « The evidence to date suggests that daily intake of 1000–2000 IU/day of vitamin D3 could reduce the incidence of colorectal with minimal risk. ». Il est a noter que le Michael F. Holick est co-auteur de cette étude.
https://www.sciencedirect.com/science/article/abs/pii/S0749379706004983

Mhhh quand même vachement nuancé la conclusion. « A ce jour des pistes suggère que 1000-2000IU(25-50µg) de vitamine D quotidienne pourrait réduire l’incidence des cancers colorectal avec un risque minimal »

Alors on va essayer de suivre l’article :

Hop un petit tour sur sci-hub pour avoir intégralité du papier en question :
https://sci-hub.tf/10.1016/j.amepre.2006.11.004

L’introduction nous explique quelques études passés et pourquoi grosso modo ils en sont venus à faire cette étude. C’est toujours sympa à lire.

Puis on a le passage sur la méthodologie. Ce n’est pas ce qui nous intéresse ici mais ça a l’air reproductible c’est important.

Après viennent les résultats. On va essayer de lire le tableau sur lequel tout les résultats sont exposés. C’est pas forcément plus facile à lire mais au moins on peut voir si il y a des problèmes dans l’étude.

Alors essayons de comprendre les chiffres.
On a la concentration en vitamine D en ng/mL (entouré en rouge). On va jeter un petit coup d’oeil sur google pour savoir quel est le taux recommandé pour la vitamine D.


Ah on doit avoir minimum 30ng/mL sinon on est en carence.
Ah je comprend mieux le tableau maintenant.

6ng/mL (entouré en violet) ça représente un déficit énorme en vitamine D. On voit sur le côté Odds ratio que c’est cette statistiques qui sert de comparaison par rapport aux autres.

On peut voir que graduellement à mesure que le taux de vitamine D dans le sang approche la mesure recommandé le taux de cancer réduit. Et encore si on regarde l’intervalle de confiance à 95% on se rend compte qu’il ne varie pas significativement au delà de 21,8ng/mL (en bleu) .

Donc les résultats de cette méta-analyse c’est donc qu’une personne souffrant de carence sévère en vitamine D a plus de chance d’avoir un cancer colorectale qu’une personne avec un taux normal.

Une carence si sévère en vitamine D vient probablement du fait d’un grave problème de santé ou de problèmes de nutrition sévère. Peut être même combiné à une allergie au soleil !

C’est juste pour dire que la vitamine D n’est peut être qu’un indicateur de malnutrition ou d’autres problèmes. Elle pourrait très bien n’avoir aucun rôle dans l’apparition de cancer.

Ensuite il y a toute la partie toxicité sur la vitamine D pour montré qu’elle n’est pas toxique, ce qui est vrai à moins de prendre des doses de cheval.

Puis il nous explique d’où vient ce chiffre de 1000-2000 UI .

By contrast, anincrease of the intake to 1000 IU/day of vitamin D3 wouldboost serum 25(OH)D by approximately 13 ng/mL,raising the estimated median level in the population to 33ng/mL, which would keep virtually all of the populationat levels below those associated with hypercalcemia oradverse health effects.[49 –51,54,55]Although a daily intake of 1000 IU would raise themedian population serum levels to 33 ng/mL, thiscould be less than optimal because 50% of the popula-tion would still be below this median level. By contrast,an intake of 2000 IU/day, would raise the populationmedian to 46 ng/mL.

Oh le salop, il fait une phrase et met 5 sources 49,50,51,54,55 . En général ça pue souvent le pâté.
J’ai pas vraiment eu envie de fouiller toute les sources pour voir d’où il tirait ses chiffres.
J’ai juste jeté un coup d’œil au rapport qui me semblait le plus crédible (par rapport au titre) pour contenir les chiffres[51] (https://www.nap.edu/read/5776/chapter/4#44)
Et mince ils expliquent qu’ils ont aucune stats sur la vitamine D u_u .

Par flemme je vais pas insister sur ce paragraphe qui me semblait très approximatif. Il dit quand même que même qu’avec 1000UI (25 µg) soit 5 fois la dose quotidienne recommandé en France. Un peu moins de 50% des Américains seraient toujours en déficit (<30ng/mL)? Ça semble tellement improbable, tellement invraisemblable.
(le gouvernement nous mentirait-il :thinking:)

Puis tout une partie sur la réduction du cancer chez les cellules et chez les souris. Je ne me suis pas intéressé à la partie sur les cellules car c’est pour moi très dur de comprendre ces études. J’en ai juste regarde une ou il dit :

For example, an exper-iment using human colon cancer cells (MC-26) graftedinto Balb/C mice found that dietary vitamin D reple-tion reduced the volume of colon cancer-derived tu-mors by 40%.[80]Another experiment found that dietaryvitamin D repletion reduced the volume of coloncancer xenografts in Balb/C mice by 60%. [81]

L’étude 81 en question :
https://sci-hub.tf/https://www.sciencedirect.com/science/article/abs/pii/S0960076005002281?via%3Dihub

Qui est une étude qui prouve que les tumeurs chez les souris avec un régime pauvre en vitamine D (<5ng/mL). Deviennent plus grosse de 60% (au bout de 19jours) que chez les souris avec un régime riche en vitamine D (~26ng/mL).
Donc que les carences sévère en vitamine D induisent une augmentation plus rapide de la taille des tumeurs greffé sur le dos des souris. Et non pas comme il le dit « la vitamine D réduit de 60% la taille des tumeurs ».

Fin voilà, tout ça pour dire que lire une étude même si c’est grossièrement et qu’on passe à travers beaucoup de biais ça permet de mieux comprendre la conclusion.

En l’occurrence ici la conclusion de l’étude pourrait être :

Il semblerait que faire prendre des compléments alimentaires riche en vitamine D (et possiblement en calcium) quotidiennement à toute personnes résidentes aux États Unis (même si ça ne sert à rien pour les personnes n’ayant pas de carences). Pourrait réduire le risque globale potentiel ou possiblement ralentir le développement du cancer colorectal.

Rien ne montre qu’avoir un taux de vitamine D au delà de la limite recommandé aiderai en quoique ce soit contre le cancer colorectal.

Qui plus est on voit bien que tout l’article est très orienté. Tout du long une vague d’arguments détournés déferle pour montrer que la vitamine D joue un rôle essentiel contre le cancer. En aucun cas à aucun moment il se questionne sur l’étude. Quelles sont les autres explications possible? Quelles sont les biais possibles? Que faudrait t-il regarder d’autre de plus? etc?
L’étude part du principe que la vitamine D marche et l’auteur cherche tout du long à montrer que la vitamine D ça marche contre le cancer.

(J’espère que ça t’aidera un petit peu à voir les choses différemment, et surtout paix à l’âme de ses souris qui se sont fait greffer un cancer colorectal humain sur le dos avant de se faire priver de vitamine D)

edit : Mince j’ai supprimé un paragraphe entier ! Bon tant pis mais c’était juste pour te dire qu’il n’y avait pas de secret. Ce n’est pas le status de l’étude qui est important (observationnel, méta-analyse etc.) c’est vraiment ce qu’elle contient. Et en général un facteur d’impact (nombres de citations de la revue ou de l’étude) élevé permet d’être sûre que ce qu’elle contient est juste/utile.
Mais attention dans une grande partie des études (facteur d’impact élevé compris), même si la conclusion semble tranché dans le résumé. Il existe souvent un grand nombre de limitation/biais possible qui sont discuté et contenue dans l’article !

4 J'aimes

Merci à tous les deux ! super travail.

Là où cela devient diffcile : comment expliquer son approbation / refutation / commentaire en 256 caractères ?
C’est difficile. SI on fait plus long on risque de rebuter les gens lisant les vérifications. Avec un « thread » qui va de plus en plus dans le détail… certains iront plus loin si intéressés.

Merci encore.

Merci pour cette analyse approfondie ! :slightly_smiling_face:

Comme je l’ai dis dans le post initial, j’ai essayé d’aller relativement vite sur l’obtention d’une synthèse. Je suis content de voir que mon travail peut servir de base permettant à d’autre membre d’apporter des détails plus approfondis. Vive le travail collaboratif :smiley: ! En tout cas, comme tu le dis, la conclusion ne fait pas tout et tu me la bien exposé ici.

Si tu es d’accord, je pense que tu peux mettre en commentaire de cette étude sur la page de vérification certains points que tu as abordé qui sont effectivement important pour mieux juger de la qualité du résultat (que ça ne serve pas qu’à moi).

Oui je suis d’accord avec toi, elle n’est pas totalement tranché mais ne laisse pas la porte ouverte, explicitement, à des données plus robuste comme d’autres études que j’ai mis en commentaire. Je me suis peut-être mal exprimé sur ce coup là.

En tout cas merci pour ce long retour qui vient en complément de mon travail préliminaire et que je m’efforcerai de travailler à l’avenir !

Je ne me suis pas posé cette question, merci de la soulever. Si j’ai bien compris, tu pencherai pour un thread de plus en plus détaillé et l’utilisateur s’arrête au niveau de détail voulu ?
Pour le coup, ça marche très bien dans la citation que j’ai traité. On part d’un sondage de l’état du débat amenant à une conclusion, ensuite un listing des études semblant pertinentes et ensuite des points permettant de valider ou non la pertinence (le travail qu’à fait @Kawasashi). Mais ou, synthétiser des sujets si complexes est difficile, je suis d’accord :slightly_smiling_face:.

@grenouillemaritime expliquer son raisonnement pour approuver / réfuter une citation n’est pas forcément utile à tout le monde. Et même si ça peut être intéressant ce n’est pas vraiment le but de CaptainFact ! Aussi il est possible de faire un thread sur le forum et de le mettre le en lien dans un commentaire si jamais on veut faire une vérification très poussé.

Le but de mon précédent message n’était pas de montrer que l’étude était malhonnête sur ses conclusions (je m’en suis rendu compte au fur et à mesure).
C’était plus pour aider et guider @Lo1c74 dans ses démarches de recherche et d’analyse.

C’était aussi pour montrer qu’on peut faire une analyse relativement rapide d’une étude (enfin j’exagère ici certaines sont vraiment très, trop complexe). Juste en regardant les tableaux et en cherchant à les comprendre. Et que du coup la barrière de la langue est beaucoup moins limitante qu’on ne pourrait le croire pour comprendre une étude!

Je me suis un peu laissé emporter par la malhonnêteté de l’auteur. Et encore je me suis retrouvé à effacer pas mal de paragraphes avant de poster mon message car je voulais que cela reste simple et applicable à d’autres études sans trop se prendre la tête !

Car oui faut pas se mentir. Peut importe le sujet, dès que tu vas chercher des études sur un sujet qui est soit controversé/sujet à débat soit « innovant » il ne faut pas s’arrêter au résumé de l’étude !

(N’hésite pas à utiliser ce moteur de recherche pour les études http://semanticscholar.org même si elles n’y sont pas toute c’est plus facile pour le travail de fond que tu veux faire !)

Petite question hors sujet: as tu des sources permettant de vérifier quel domaine est accessible pour scihub ? Car j’ai beaucoup de mal à y accéder des fois…

Merci, je ne connaissait pas, je prend note ! :smiley:

1 J'aime

Le lien https://sci-hub.tf/ est à ma connaissance le seul non bloqué par les FAI (il existe depuis le 08/20). Mais il le sera peut être un jour ! Ah la France quel beau pays de liberté.

Tu peux toujours utiliser le navigateur Tor pour accéder à n’importe lequel des domaines si jamais ^^

edit : Je suis tombé sur un article par hasard traitant de Sci-hub

1 J'aime