Darkoneko's Weblog

Yesterday, today, and no future / time waits for no one

Les serveurs de Wikimedia Commons sont en surcharge

Posted by DarkoNeko le Vendredi 30 octobre 2009

Les serveurs de Wikimedia Commons sont en surcharge

« Wikimedia Commons » (ou plus simplement « Commons« )  est la banque de médias  centrale des projets Wikimedia, c’est à dire qu’elle stocke la plupart des images utilisées sur les différentes Wikipédias, Wikibooks, Wikispecies, etc.

Il y a actuellement environ 4000 nouvelles images importées sur Commons chaque jour, mais différents partenariats (voir par exemple, côté partenariats  celui ci et celui là) nécessitent des « batch« , des imports massifs de dizaines voire centaines de milliers d’images par bot dans un laps de temps relativement court.

Il y a une petite semaine, j’ai surpris une discussion intéressante entre un tecchie de la Wikimedia Foundation et un dresseur de bot sur le canal IRC  des développeurs, #wikimedia-tech .  J’y ai appris que l »espace disque des serveurs sur lesquels tournent Commons se fait rare. Pour fonctionner correctement, le système utilisé pour le stockage des images recommande fortement de ne pas remplir l’espace disque à plus de 80%. Nous avons dors et déjà dépassé cette limite (86%). D’après eux, à partir de 90% ça va commencer à sentir très mauvais  (voir ce qui est arrivé en juillet dernier).

De nouveaux serveurs ont dors et déjà été commandés, mais il n’arriveront que d’ici 3 à 5 semaines (plus 2/3 jours d’installation). C’est assez tard, mais 1) il y a des soucis de recrutements à la Wikimedia Foundation pour ces postes, ils sont en sous effectifs pour planifier les commandes et gérer le parc serveur en général 2) Sun (le fournisseur) est long pour la livraison de ce genre de commandes.

Pas de panique toutefois : les serveurs sont largement en mesure de supporter la charge normale (4000/jour) jusqu’à l’arrivée des renforts ; On ne peut par contre pas en dire autant si ça monte à 40.000/jour (typiquement, en cas d’import massif), donc les dresseurs de bots s’occupant des batchs ont été contactés pour leur demander d’appuyer  sur « pause » jusqu’à ce que la jauge d’espace libre repasse dans le vert.

Une fois le nouveau matos installé, Commons disposera d’un total de 24 Teraoctets de stockage

NB : par curiosité, j’avais demandé si supprimer les plus anciennes  « images effacées » (qui restent habituellement  physiquement sur les disques, pour permettre d’annuler la suppression ) des serveurs pour gagner de la place était une bonne idée, on m’a demandé en réponse si j’avais envie de déclencher une émeute chez les Wikipédiens :)

About these ads

8 Réponses to “Les serveurs de Wikimedia Commons sont en surcharge”

  1. Myst said

    Merci pour ces infos.

  2. Perky said

    Salut,
    Je ne comprend pas pourquoi on ne vire pas les doublons, triplons et plus d’un sujet de mauvaise qualité comme par exemple quelques reproductions du Project York. Il y a une quantité d’images inutiles qui s’accumulent. Peut être que cela ferait de la place ?

  3. Perky said

    Il te plait mon gravatar ?

  4. DarkoNeko said

    O_o original :)

  5. KoS said

    « Seulement » 24 tera ? J’imaginais que c’était beaucoup plus !
    En tout cas merci pour les infos :)

  6. DS said

    Ben voila un truc qui pourrait être intéressant : demander, sur un projet (fr:wiki par exemple), de stopper tous les bots (du genre une semaine), histoire de voir quelle quantité de ressources ils consomment. Parce quand on voit des articles édités uniquement par des bots (interwikis, ortho, bandeaux), c’est à se demander s’ils ne sont pas trop nombreux (ou au moins très mal organisés).

    Pour ce qui est de la conservation des images supprimées, je ne serais pas étonné que la majorité des wikipédiens l’ignorent. Ils pourraient au moins supprimer celles qui sont des copyvios :-).

  7. DarkoNeko said

    Je vois pas bien le rapport entre l’arrêt d’upload par « batch » (pour des raisons de place disponible pour les images) et l’arrêt total des bots d’un wiki … ?

  8. […] parlais dans mon post Les serveurs de Wikimedia Commons sont en surcharge à la toute fin  d’octobre dernier, et un certain nombre d’entre vous m’ont […]

Désolé, les commentaires sont fermés pour le moment.

 
Suivre

Recevez les nouvelles publications par mail.

Rejoignez 408 autres abonnés