在3月12號週一(巴黎時間),我們的 Gandi Mail 服務發生了重大的網路問題,導致我們的客戶有好幾個小時都無法使用電子郵件。目前此問題已經解決,服務已經正常運作。但因為我們的郵件伺服器目前暫時被列入了黑名單,除了發送到雅虎的郵件之外,其他所堆積的郵件都已完成發送。
時間軸(巴黎時間):
週一早上,巴黎的資料中心通常網路流量都很高,我們注意到了近期所使用的網路架構中有一個問題:頻寬容量不足以負荷週一早上的流量。
結果,網路達到滿載,並且影響到其他服務也不穩定。我們的團隊首先進行 Gandi Mail 服務的網路流量隔離動作,這樣可以停止它對其他服務的影響。
週一中午,Gandi Mail 服務的網路就已經完全隔離獨立,但是服務仍然不穩定。
同時,我們的工程師立即重新設計了 Gandi Mail 平台的網路架構,以提高頻寬,在週一下午的時候我們就打算佈署新的網路架構。
為了加快時間,我們決定在下午時放寬電子郵件監控工具的規則。該工具能協助我們檢查客戶的電子郵件不受殭屍網路的入侵。
在放寬規則後,不幸的事發生了,殭屍網路開始透過我們的主機發送大量的垃圾郵件。但在發送數萬封電子郵件之前,其他服務商就將我們的伺服器列為黑名單,特別是雅虎與微軟(Hotmail 與 Outlook)。
在這段時間內要寄出的電子郵件都被積壓在我們的郵件佇列。
還好有這些郵件佇列,在郵件沒有遞送完成之前都被保留在佇列中。例如,如果你要向某人發送電子郵件,但是對方的郵件伺服器暫時無法提供服務,您的信件不會遺失,會放在佇列中等待下次發送。每次發送失敗的話,郵件在佇列中等待的時間就會增加(即間隔發送的時間會越來越長)。
由於這個原因,郵件伺服器修復後,較舊的郵件會比新的郵件更慢才送達。
所以在週二早上時,還有一些週一早上要寄出的郵件並未寄出。
目前的狀況:
- Gandi Mail 服務現在已經穩定了;我們從我們其他的資料中心測試郵件的收發已經沒有問題,包含了有附件的電子郵件。
- 需要寄送到雅虎(Yahoo)的電子郵件目前仍然沒有發送,我們的團隊正在與雅虎積極聯絡,讓郵件能暢通。
- 週一時需要寄出的信件已全數寄出。
主要是因為我們要關閉 FR-SD2 這個舊的資料中心。我們已經計畫遷移資料中心數個月了,技術團隊花很多的時間研究如何遷移 Simple Hosting 、雲端、Gandi 部落格與 Gandi 郵件服務平台。
必須強調的是,遷移是必須要執行的,我們需要將 FR-SD2 舊的資料中心遷移到我們新的架構上,我們才能發展更多服務給我們的客戶。我們新的數據中心 FR-SD3、FR-SD4 與 FR-SD5 將提供您更彈性的網路架構、新的服務並更好的體驗。
當然我們了解這次的事件對我們的服務品質造成了嚴重的影響,造成您的任何不便,我們深表歉意。請放心,Gandi 的所有團隊都會很努力與您一起度過這個過渡期,並提供給您最需要的協助。