robots.txt pour MediaWiki
Lien court vers cette page : https://vt.cx/rtMW QR code vers cette page : https://vt.cx/rtMW.qr
Versions MediaWiki : Toutes
Présentation
Par défaut le fichier robots.txt donnant la liste des répertoires à ne pas indexer au moteurs de recherches n'est pas installé par MediaWiki. Il peut donc être utile de l'ajouter pour éviter que des fichiers stratégiques soit indexés. Si le robots.txt n'est pas toujours pris en compte par certains moteurs de recherches, il reste utile pour les principaux.
Procédure
Le fichier robots.txt de base comprend les principaux répertoires d'une installation MediaWiki standard. Il convient d'y ajouter les dossiers spécifiques à chaque site en ajoutant l'intitulé du répertoire ne devant pas être indexé.
ex. /images-perso/enfances/moi/ pour ne pas indexer le contenu du répertoire enfances et de ceux qui suivent.
robots.txt est un fichier texte ASCII comme ceux produits par Notepad, Notepad++ et tout autre éditeur texte. Son contenu pour MediaWiki conseillé est :
User-agent: * Disallow: /cache/ Disallow: /docs/ Disallow: /extensions/ Disallow: /includes/ Disallow: /languages/ Disallow: /maintenance Disallow: /mw-config/ Disallow: /resources/ Disallow: /serialized Disallow: /skins Disallow: /temp Disallow: /tests Disallow: /upload_tmp_dir
