Nous avons fait face dans les derniers mois à une croissance importante d’accès automatisés non légitimes à notre plateforme. Afin de protéger nos usager·ère·s et de renforcer la résilience de nos services, nous avons récemment déployé Anubis, une solution alignée sur nos valeurs d’ouverture et de transparence.
Un phénomène récent, amplifié par l’IA
Avec le développement des applications d’intelligence artificielle (IA), un nombre croissant de robots (bots) parcourent le web en simulant parfois des comportements humains. Ces robots, appelés “crawlers”, sont utilisés pour notamment collecter de grandes quantités de données, alimenter les grands modèles de langage (LLM) ou améliorer les réponses des assistants IA.
L’activité de ces robots peut générer un volume de trafic élevé, perturbant parfois la performance des sites et rendant les statistiques de consultation moins représentatives. Les plateformes ouvertes comme Érudit, qui mettent en circulation des contenus scientifiques de haute qualité, constituent particulièrement des cibles, car elles représentent une source privilégiée de textes fiables pour l’entraînement des modèles. À noter que les robots bien identifiés (par exemple ceux utilisés par les moteurs de recherche traditionnels pour indexer le contenu) respectent généralement les restrictions d’accès mises en place par les plateformes. Ils ne posent donc pas de risque pour la stabilité des services.
Ce phénomène concerne aujourd’hui l’ensemble des infrastructures numériques de recherche et de diffusion du savoir. Plusieurs bibliothèques numériques et dépôts institutionnels, comme Wikimedia, OAPEN, DOAB ou les collections des universités de Caroline du Nord, Duke et Tufts, rapportent des interactions fréquentes avec des robots agressifs. Une enquête de la Confederation of Open Access Repositories (avril 2025) indique que 90 % des répondant·e·s rencontrent ces bots au moins une fois par semaine, parfois plus, ce qui peut provoquer ralentissements ou interruptions ponctuelles des services.
Préserver l’accès ouvert, sans surveillance intrusive
Un afflux massif de ces requêtes automatisées produit plusieurs effets indésirables :
- Dégradation de la performance : surcharge du réseau et des serveurs, ralentissements, voire indisponibilités.
- Biais dans les statistiques : les robots peuvent représenter la majorité du trafic, masquant les usages réels et faussant l’analyse des comportements de lecture.
- Risques pour l’équité d’accès : certains usagers humains pourraient se retrouver parfois évincés par les robots.
Or, garantir l’accès aux publications savantes constitue le fondement même de la mission d’Érudit. C’est pourquoi nous avons entrepris à l’été 2025 une analyse approfondie de solutions techniques capables de maintenir un équilibre entre performance, confidentialité et ouverture pour l’utilisation de notre plateforme. À l’issue de plusieurs tests, nous avons retenu Anubis, une solution conçue spécifiquement pour répondre aux défis associés aux robots IA. L’objectif est simple : bloquer les accès illégitimes tout en maintenant une expérience fluide pour nos utilisateurs.
Des retombées concrètes : statistiques plus fiables et plateforme plus stable
Avant la mise en place d’Anubis, notre équipe des technologies de l’information (TI) a assuré dès l’automne 2024 un filtrage manuel des accès illégitimes, ce qui a entraîné une diminution des statistiques d’utilisation. Cette baisse doit être interprétée positivement : elle correspond à un nettoyage du trafic et offre une vision plus juste des usages réels. Depuis le filtrage par Anubis en septembre 2025, nous constatons une réduction significative des accès automatisés indésirables et une stabilité accrue des systèmes.
Le déploiement d’Anubis constitue une étape importante dans notre stratégie de protection des infrastructures de diffusion du savoir. Toutefois, il ne s’agit pas d’une intervention ponctuelle :
- notre équipe TI poursuivra l’ajustement fin du paramétrage d’Anubis ;
- notre équipe de développement scientifique analysera l’évolution des comportements des robots ;
- Érudit continuera de participer activement aux travaux de la communauté internationale sur la régulation des robots IA et la préservation de l’accès ouvert.
Nous tenons à remercier Xe Iaso, créatrice d’Anubis, ainsi que les membres de notre équipe TI (particulièrement Béranger, David C. et David M.) pour leur contribution déterminante au déploiement de cette solution.
Références
Aery, S. (2025). Anubis Pilot Project Report—June 2025. Duke University Libraries. https://hdl.handle.net/10161/32990
Almas, B. (2025, avril 11). Aggressive AI Harvesting of Digital Resources—Community Groups—LYRASIS Wiki. https://wiki.lyrasis.org/pages/viewpage.action?pageId=364743621
Liu, E., Luo, E., Shan, S., Voelker, G. M., Zhao, B. Y., & Savage, S. (2025). Somesite I Used To Crawl : Awareness, Agency and Efficacy in Protecting Content Creators From AI Crawlers. arXiv. https://doi.org/10.1145/3730567.3732913
Mueller, B., Danis, C., Lavagetto, G., & Wikimedia Foundation. (2025, avril 1). How crawlers impact the operations of the Wikimedia projects. Diff. https://diff.wikimedia.org/2025/04/01/how-crawlers-impact-the-operations-of-the-wikimedia-projects/
Panitch, J. (2025, juin 9). Library IT vs. The AI bots. UNC University Libraries. https://library.unc.edu/news/library-it-vs-the-ai-bots/
Sarah. (2025, février 26). In case you didn’t know this about me, I’m part of the team for Perseus Digital Library. Since last week, we’ve been experiencing continuing… [Post]. Bluesky. https://bsky.app/profile/lepidopterane.bsky.social/post/3lj3wtoa56s2w
Shearer, K., & Walk, P. (2025). The impact of AI bots and crawlers on open repositories : Results of a COAR survey, April 2025. Confederation of Open Access Repositories. https://coar-repositories.org/wp-content/uploads/2025/06/Report-of-the-COAR-Survey-on-AI-Bots-June-2025-1.pdf
Snijder, R. (2025a, avril 11). Computers gung ho? Responding to the OAPEN Library and DOAB’s response time [Billet]. OAPEN – Online Library of Open Access Books. https://doi.org/10.58079/13qrk
Snijder, R. (2025b, mai 27). Funnelling locusts – further reflections on the OAPEN Library and DOAB’s response time [Billet]. OAPEN – Online Library of Open Access Books. https://doi.org/10.58079/140ni