[fixé] Incident Filer Hosting

Nous rencontrons actuellement un incident sur une unité de stockage sur la plateforme d’hébergement qui impacte un certain nombre de serveurs.  Nos équipes travaillent pour rétablir le service aussi vite que possible.  Nous ajouterons plus d’informations dès qu’elles seront disponibles.

A noter que pour les clients qui ne sont pas impactés, nous avons stoppé préventivement l’ensemble des opérations sur vos serveurs (creation, arrêt…)

Veuillez excuser la gêne occasionnée.

16h20 Nous cherchons toujours la cause du problème avant de relancer vos serveurs.

17h45 Nous n’avons malheureusement pas de nouvelles informations à vous communiquer. Toute notre équipe est mobilisée afin de déterminer au plus vite la source du problème.

18h00 La tentative de passer sur la tête de secours du filer n’a pas donné de résultat satisfaisant.

19h30 Nous avons 2/3 bonnes pistes et essayons d’appliquer les patchs Kernel adequat. Le problème se situe au niveau des écritures sur les disques. Le bug semble connu chez Sun mais pas vraiment la solution.

21h30 Toujours sur la même piste. Certains disques refonctionnent mais pas tous. Nous n’avons pas d’ETA à vous donner mais ça prendra encore plusieures heures au moins 🙁

21h50 On a bientôt un nouveau Kernel, on va tenter le reboot juste après.

00h00 On n’est pas loin du moment de vérité. Nous testons actuellement notre nouveau Kernel et l’appliquons sur un filer ZFS de test. On le passe ensuite sur le filer qui pose problème pour vérifier que ça corrige bien le problème.

01h00 Victoire ! (enfin j’espère) Le filer semble bien se comporter pour le moment. Nous redémarrons les serveurs que nous avions préventivement eteints et surveillons tout ça pendant encore un petit moment. Merci à tous pour votre patience et vos messages d’encouragement. Nous enverrons demain un rapport complet sur l’incident.