Incident majeur sur notre infrastructure d’hébergement au Luxembourg
- Nous n’avons pas encore de garantie quant à l’intégrité des données.
Mercredi 8 janvier 2020 à 15:53 (CET), une de nos unités de stockage ZFS, utilisée pour les services d’hébergement PAAS et IAAS, a connu un incident.
L’unité de stockage est devenue indisponible, provoquant une coupure de service pour les PAAS et IAAS ayant un disque associé à cette unité.
Nous avons suivi les procédures établies :
- basculer le contrôle des données sur une machine de secours
- informer par e-mail les clients impactés par cet incident.
Par ailleurs, nous avons communiqué en direct sur cet incident dès les premières minutes via nos comptes Twitter @gandinoc @gandi_net et @gandibar.
L’import des données sur la machine de secours n’a pas été possible en raison d’une corruption de méta-données dont nous ignorons encore la cause. Nous essayons depuis de forcer l’import des données, une manœuvre qui nécessite de repartir de méta-données valides.
Malgré les efforts de nos équipes techniques pour essayer de restaurer les données de l’unité de stockage impactée, nous ne sommes actuellement pas en mesure de les récupérer. Le résultat de cette opération est, à l’heure où nous mettons en ligne ce billet, très incertain.
Ce type d’incident est extrêmement rare et, en l’occurrence, limité à une seule unité de stockage.
Nous fournirons dès que possible un postmortem.
Nous sommes navrés pour cette regrettable expérience et présentons nos sincères excuses aux clients impactés.
L’équipe gandi.net