Darkoneko's Weblog

Yesterday, today, and no future / time waits for no one

Articles Tagués ‘serveurs’

Nouveaux serveurs pour Wikimedia Commons : update

Publié par DarkoNeko le Jeudi 17 décembre 2009

Bonsoir à vous ;

J’en parlais dans mon billet "Les serveurs de Wikimedia Commons sont en surcharge" à la toute fin  d’octobre dernier, et un certain nombre d’entre vous m’ont posé des questions sur le sujet, donc voici une mise à jour :

Je viens de me renseigner sur canal IRC  des développeurs, et Ariel Glenn (voir  staff de la WMF) a eu la gentillesse de m’éclairer.

Donc, les 2 serveurs commandés (noms de code Ms7 et Ms8) ont été reçus début décembre :

  • Ms8 s’est avéré défectueux. Il est en attente de réparation/envoi probable de pièces de rechanges par Sun.
  • Ms7 est en train de subir les divers ajouts nécessaires à sa mise en service (le détail est expliqué sur le lien).

Voilou

Publié dans actualités, les coulisses de Wikipédia | Tagué: , , , , , , | 3 Comments »

Les serveurs de Wikimedia Commons sont en surcharge

Publié par DarkoNeko le Vendredi 30 octobre 2009

Les serveurs de Wikimedia Commons sont en surcharge

"Wikimedia Commons" (ou plus simplement "Commons")  est la banque de médias  centrale des projets Wikimedia, c’est à dire qu’elle stocke la plupart des images utilisées sur les différentes Wikipédias, Wikibooks, Wikispecies, etc.

Il y a actuellement environ 4000 nouvelles images importées sur Commons chaque jour, mais différents partenariats (voir par exemple, côté partenariats  celui ci et celui là) nécessitent des "batch", des imports massifs de dizaines voire centaines de milliers d’images par bot dans un laps de temps relativement court.

Il y a une petite semaine, j’ai surpris une discussion intéressante entre un tecchie de la Wikimedia Foundation et un dresseur de bot sur le canal IRC  des développeurs, #wikimedia-tech .  J’y ai appris que l"espace disque des serveurs sur lesquels tournent Commons se fait rare. Pour fonctionner correctement, le système utilisé pour le stockage des images recommande fortement de ne pas remplir l’espace disque à plus de 80%. Nous avons dors et déjà dépassé cette limite (86%). D’après eux, à partir de 90% ça va commencer à sentir très mauvais  (voir ce qui est arrivé en juillet dernier).

De nouveaux serveurs ont dors et déjà été commandés, mais il n’arriveront que d’ici 3 à 5 semaines (plus 2/3 jours d’installation). C’est assez tard, mais 1) il y a des soucis de recrutements à la Wikimedia Foundation pour ces postes, ils sont en sous effectifs pour planifier les commandes et gérer le parc serveur en général 2) Sun (le fournisseur) est long pour la livraison de ce genre de commandes.

Pas de panique toutefois : les serveurs sont largement en mesure de supporter la charge normale (4000/jour) jusqu’à l’arrivée des renforts ; On ne peut par contre pas en dire autant si ça monte à 40.000/jour (typiquement, en cas d’import massif), donc les dresseurs de bots s’occupant des batchs ont été contactés pour leur demander d’appuyer  sur "pause" jusqu’à ce que la jauge d’espace libre repasse dans le vert.

Une fois le nouveau matos installé, Commons disposera d’un total de 24 Teraoctets de stockage

NB : par curiosité, j’avais demandé si supprimer les plus anciennes  "images effacées" (qui restent habituellement  physiquement sur les disques, pour permettre d’annuler la suppression ) des serveurs pour gagner de la place était une bonne idée, on m’a demandé en réponse si j’avais envie de déclencher une émeute chez les Wikipédiens :)

Publié dans actualités, les coulisses de Wikipédia | Tagué: , , , , , , | 8 Comments »

 
Suivre

Recevez les nouvelles publications par mail.

Joignez-vous à 410 followers