Les serveurs de Wikimedia Commons sont en surcharge

« Wikimedia Commons » (ou plus simplement « Commons« )  est la banque de médias  centrale des projets Wikimedia, c’est à dire qu’elle stocke la plupart des images utilisées sur les différentes Wikipédias, Wikibooks, Wikispecies, etc.

Il y a actuellement environ 4000 nouvelles images importées sur Commons chaque jour, mais différents partenariats (voir par exemple, côté partenariats  celui ci et celui là) nécessitent des « batch« , des imports massifs de dizaines voire centaines de milliers d’images par bot dans un laps de temps relativement court.

Il y a une petite semaine, j’ai surpris une discussion intéressante entre un tecchie de la Wikimedia Foundation et un dresseur de bot sur le canal IRC  des développeurs, #wikimedia-tech .  J’y ai appris que l »espace disque des serveurs sur lesquels tournent Commons se fait rare. Pour fonctionner correctement, le système utilisé pour le stockage des images recommande fortement de ne pas remplir l’espace disque à plus de 80%. Nous avons dors et déjà dépassé cette limite (86%). D’après eux, à partir de 90% ça va commencer à sentir très mauvais  (voir ce qui est arrivé en juillet dernier).

De nouveaux serveurs ont dors et déjà été commandés, mais il n’arriveront que d’ici 3 à 5 semaines (plus 2/3 jours d’installation). C’est assez tard, mais 1) il y a des soucis de recrutements à la Wikimedia Foundation pour ces postes, ils sont en sous effectifs pour planifier les commandes et gérer le parc serveur en général 2) Sun (le fournisseur) est long pour la livraison de ce genre de commandes.

Pas de panique toutefois : les serveurs sont largement en mesure de supporter la charge normale (4000/jour) jusqu’à l’arrivée des renforts ; On ne peut par contre pas en dire autant si ça monte à 40.000/jour (typiquement, en cas d’import massif), donc les dresseurs de bots s’occupant des batchs ont été contactés pour leur demander d’appuyer  sur « pause » jusqu’à ce que la jauge d’espace libre repasse dans le vert.

Une fois le nouveau matos installé, Commons disposera d’un total de 24 Teraoctets de stockage

NB : par curiosité, j’avais demandé si supprimer les plus anciennes  « images effacées » (qui restent habituellement  physiquement sur les disques, pour permettre d’annuler la suppression ) des serveurs pour gagner de la place était une bonne idée, on m’a demandé en réponse si j’avais envie de déclencher une émeute chez les Wikipédiens :)