Veuillez commettre plus de fraudes académiques flagrantes (Buckman)

Veuillez commettre plus de fraudes académiques flagrantes
Articlr originel : Please Commit More Blatant Academic Fraud
Buckman's blog, 29 mai 2021

Cette semaine, j'ai été ravi de lire le premier cas bien documenté de fraude académique explicite dans la communauté de l'intelligence artificielle. J'espère que c'est le début d'une tendance et que d'autres chercheurs s'inspireront de leur exemple et s'engageront à l'avenir dans des formes de fraude encore plus flagrantes.

La fraude académique explicite est, bien sûr, le prolongement naturel du type de fraude banale et quotidienne que la plupart des universitaires de notre communauté commettent régulièrement. Essayer ce nouvel algorithme brillant sur quelques douzaines de graines, et ensuite ne rapporter que les meilleures. Effectuer un grand balayage des hyperparamètres sur l'approche que vous proposez, mais utiliser les valeurs par défaut pour la ligne de base. Choisir des exemples où votre modèle semble bon, ou choisir des ensembles de données entiers à tester, où vous avez confirmé l'avantage de votre modèle. Inventer de nouvelles configurations de problèmes, de nouveaux ensembles de données, de nouveaux objectifs afin de crier victoire sur un terrain de jeu vide. proclamer que votre travail est une "première étape prometteuse" dans votre introduction, tout en sachant parfaitement que personne ne s'en inspirera jamais. Soumettre un article à une conférence parce qu'il a de bonnes chances d'être accepté et que vous ne voulez pas que le temps que vous y avez consacré soit gaspillé, même si vous avez réalisé depuis que les idées principales ne sont pas tout à fait correctes.

Le problème de ce type de fraude discrète est qu'elle est insidieuse et subtile. À bien des égards, une action frauduleuse est indiscernable d'une simple erreur. Il y a un déni plausible - oh, j'ai simplement oublié d'inclure ces graines, je n'avais pas assez de calcul pour ces autres réductions, je n'ai pas réussi à attraper ce bug. Il est difficile de se résoudre à punir un étudiant de troisième cycle bien intentionné pour quelque chose qui aurait pu être une simple erreur, alors nous laissons ces choses glisser, glisser et glisser jusqu'à ce qu'elles soient normalisées. Lorsque les normes sont faibles, il n'est pas dans l'intérêt d'un individu de se mettre à la hauteur. Les nouveaux arrivants sur le terrain voient ces choses, ils apprennent et ils imitent. Souvent, ils sont directement encouragés par leurs mentors. Un étudiant diplômé qui publie trois articles par an est le rêve de tout professeur, de sorte que les stratégies visant à maximiser la production d'articles deviennent la culture du laboratoire. Et lorsque pratiquement tous les laboratoires adoptent certains comportements, ceux-ci deviennent partie intégrante des normes de recherche du domaine.

Mais le pire de tout : parce que tout le monde est complice de cette fraude subtile, personne ne veut reconnaître son existence. Qui serait hypocrite au point de condamner chez les autres des comportements qu'il voit clairement chez lui ? Et pourtant, qui est prêt à saper ses propres réalisations en admettant que son propre travail n'a pas de valeur scientifique?1 Le triste résultat est que, en tant que communauté, nous avons développé un point aveugle collectif autour d'une réalité déprimante : même dans les conférences de haut niveau, l'article médian publié ne contient aucune vérité ou perspicacité. Toute tentative de mettre en lumière ou de remédier à la situation se heurte à une résistance farouche de la part de ceux qui profitent de l'état actuel des choses. Le diable lui-même n'aurait pas pu concevoir un meilleur obstacle à la progression de l'humanité.

Mais maintenant qu'une fraude académique flagrante est en jeu, la communauté de l'IA a une chance de se battre. En prenant part à une forme de fraude qui a quitté la fenêtre d'Overton de l'acceptabilité, les chercheurs du réseau de collusion ont finalement réussi à forcer la communauté à reconnaître son angle mort. Pour la première fois, les chercheurs qui lisent les comptes rendus de conférences seront obligés de se demander : ce travail mérite-t-il vraiment mon attention ? Ou sa publication est-elle simplement le résultat d'une fraude ?

Il serait, bien sûr, assez difficile de distinguer les articles publiés frauduleusement de ceux qui sont publiés "légitimement". (Ce seul fait vous dit tout ce que vous avez besoin de savoir sur l'état actuel de la recherche en IA). Mais la simple possibilité qu'un article donné ait été publié de manière frauduleuse oblige les gens à s'engager avec plus de scepticisme dans tous les travaux publiés. Les lecteurs sont contraints d'agir davantage comme des réviseurs, en pesant les preuves présentées par rapport à leurs a priori, en essayant d'identifier les moyens par lesquels des conclusions surprenantes pourraient être le résultat d'une fraude - explicite ou subtile - plutôt qu'un fait. Les gens exerceront un contrôle supplémentaire pour traiter les formes explicites de fraude, comme les réseaux de collusion, mais ce faisant, ils développeront également une sensibilité aux formes plus subtiles de fraude qui sont déjà endémiques dans la communauté. Les auteurs seront alors poussés à produire des travaux capables de résister à un tel examen, c'est-à-dire des résultats obtenus sans la moindre fraude, ce qui débouchera sur des publications ayant une véritable valeur scientifique.

Cette même lumière crue est également jetée sur nous-mêmes, sur nos motivations. Cette situation semble avoir suscité chez de nombreux chercheurs des sentiments d'empathie. Ces actions sont compréhensibles ; un tel événement était inévitable ; tout le monde fait cela, mais plus discrètement. Nous ne sommes pas surpris que des personnes se comportent de manière non scientifique afin de faire publier leurs articles ; nous sommes surpris que quelqu'un ait été prêt à aller aussi loin. L'aspect le plus remarquable de ce réseau de collusion n'est pas qu'il était plus frauduleux que d'habitude, mais que la fraude était plus intentionnelle.

Cela fait ressortir la tension fondamentale entre une science de qualité et la progression de la carrière, profondément enfouie au cœur du monde universitaire. La plupart des chercheurs sont dans une certaine mesure des "chercheurs de carrière", motivés par le pouvoir et le prestige qui récompensent ceux qui excellent dans le système universitaire, plutôt que par la poursuite idéaliste de la vérité scientifique. Les personnalités éminentes et respectées ne font pas exception à cette règle. (En fait, en raison des effets de sélection, je soupçonne que la plupart d'entre eux sont en réalité plus motivés par leur carrière que ce qui est typique). Nous devons accepter le fait que, puisque les incitations à la progression de carrière ne sont pas parfaitement alignées sur la bonne science, presque toute action motivée par la progression de carrière interférera avec la capacité d'une personne à faire de la bonne science. Nous devons encourager une norme d'introspection, d'examen de ses propres motivations, où toute décision prise pour obtenir des avantages liés à la science est considérée avec la plus grande suspicion. Et nous devons veiller à ce que les suggestions explicites de modifier sa science au service de sa carrière - "vous devez faire X pour être publié", "vous devez publier Y pour obtenir votre diplôme", "vous devez éviter de critiquer Z pour être embauché" - entraînent des sanctions sociales aussi sévères qu'une suggestion de plagiat ou de fraude.

Le professeur Littman affirme que les réseaux de collusion menacent l'intégrité de la recherche en informatique. Je suis d'accord avec lui. Et j'attends avec impatience le jour où ils mettront cette menace à exécution. Miner la crédibilité de la recherche en informatique est la meilleure issue possible pour le domaine, car l'institution, dans sa forme actuelle, ne mérite pas la crédibilité dont elle jouit. Une fraude généralisée nous obligerait à renforcer à nouveau les normes académiques de notre communauté, à transformer la façon dont nous faisons de la recherche et à améliorer notre capacité collective à faire progresser les connaissances de l'humanité.

Ceci est donc un appel à l'action : s'il vous plaît, commettez plus de fraudes universitaires.

Fraude flagrante. De la fraude agressive. Formez plus de réseaux de collusion ! Faites chanter vos examinateurs, corrompez vos CA ! Truquez vos résultats - ou fabriquez-les entièrement ! (Mais ne lésinez pas sur la rédaction : votre article doit être rédigé dans un anglais académique parfait, bien formaté, et raconter une histoire intuitive et plausible). Faisons en sorte que la fraude académique explicite soit suffisamment courante pour semer le doute dans l'esprit de chaque scientifique qui lit un article sur l'IA. Dans l'ensemble, la science en bénéficiera.

Ensemble, nous pouvons forcer la communauté à reconnaître ses propres lacunes et à développer des normes plus fortes, plus efficaces et plus scientifiques. Il s'agit d'un traitement dur, c'est certain - un régime de chimiothérapie qui risque de nous détruire entièrement. Mais c'est notre meilleure chance de détruire le cancer qui a infecté notre communauté. Je crois de tout cœur que nous pouvons relever ce défi et en sortir plus forts que jamais. Et quand nous y arriverons, les secrets de l'intelligence artificielle nous attendront.

Merci de votre lecture et n'hésitez pas à me contacter sur Twitter @jacobmbuckman si vous avez des commentaires ou des questions !

Un grand merci à Nitarshan Rajkumar pour ses commentaires lors de la rédaction de cet article.

Traduction SLT

***
Pour toute question ou remarque merci de nous contacter à l'adresse mail suivante : samlatouch@protonmail.com.

Pour savoir pourquoi nous avons dû changer d'e-mail : cliquez ici.
----
- Rapport de l'IRSEM de novembre 2018. Comment l'armée française considère le blog de SLT et ...les autres