處理意外停電沒有什麼好玩的。但如果您想找的是銀色的內裡,而您剛好是獨立的學區,那麼在夏季休息的週五就是最好的情況。
當第三方軟體更新造成全球普遍中斷時,我感謝我的幸運明星:學校已下班,因此對休士頓春分獨立學區 (ISD) 學生、教師和員工的影響微乎其微。但接下來是準備和規劃的結果。
我的團隊的許多職責之一是將春季分支 ISD 的所有關鍵工作負載備份至 Pure Storage。其中包括 ERP、學生資訊、電話系統,以及 SQL Server 和各種教育特定應用程式,以及來自 50,000 位使用者和 100,000 個裝置的資料。停電影響了該區的許多 Hyper-V 虛擬機器,我們無法使用軟體供應商的復原指示進行復原。
因此,我們改用前一晚在 Pure Storage 上的 Veeam 備份,以快速恢復營運。Pure Storage 與 Veeam 的強大合作關係與整合,是我們在週末其他組織中斷數天恢復能力的關鍵因素。這也是我們練習並磨練未來在學年內可能發生事件的網路韌性計畫的好機會,因為當停機時間較長時會造成問題。
我們學到了幾個關鍵知識和教訓,以減輕風險、保護資料,並為不間斷的作業提供永遠在線的資料保護。
1. 品質備份是復原的關鍵
備份經常被忽略或視為次要備份,直到時間太晚。再加上警示疲勞,54%1 的警示在任一天都未經過資安團隊調查,這顯然是為什麼備份是復原的命脈。如果沒有他們,什麼會是輕微的挫折,會迅速成為一場完全爆發的危機。
Spring Branch ISD 使用 Pure Storage® FlashBlade® 作為 Veeam 備份的主要備份庫。這些備份資料會複製到位於區災害復原地點的 Pure Storage FlashArray//C FlashArray。使用 Pure Storage 的永恒、難以撼動的 SafeMode」 快照來保護備份。FlashBlade FlashBlade 和 Veeam 不僅能快速還原,還能根據個人識別資訊 (PII) 的法規和隱私要求,保護上鎖的物件。
整合式 Pure Storage 和 Veeam 解決方案可快速有效地還原 80 TB 的大量資料,並強調比以前備份儲存解決方案更優異的效能。
網路安全與營運部門首席系統工程師 Ben Allen 表示:「我會與 Veeam 共同在 Pure Storage 上贏得我的職涯和聲譽。兩者在各方面都超越了我們的期望:效能、韌性和簡易性。”
2. 跨協作和培訓至關重要
斷電不僅會影響一個部門,還會影響整個組織。從 IT 團隊到客戶服務,每個人都在管理故障問題上扮演著角色。此次停電是跨協作並非好事,而是必買事的完美範例。
為了達成這個目標,我努力促進基礎架構和網路安全團隊之間的協作,這兩者都是我所領導的。作為更廣泛的事件回應計畫的一部分,我還優先考慮處理 PII 資料的系統和應用程式所有權,以及員工培訓。未經授權而存取 PII 可能為資訊遭洩露的人士,以及我們的組織帶來嚴重後果。Pure Storage 內建的網路安全功能,有助於我們遵守保護 PII 的法律要求。
建立員工學習的環境也是快速回應的關鍵。舉例來說,Allen 離這次停電還有兩小時。雖然他是儲存備份的主要主管,但由於 IT 團隊中的每個人都可以使用 Pure Storage 和 Veeam,因此團隊能夠毫不猶豫地介入。交叉訓練確保沒有人對關鍵任務負全責,從人類的角度來看,也沒有單點故障。
因此,我的團隊能夠在事件期間順暢溝通、分享資源,並快速做出決策,讓系統重新上線。
3. 人為錯誤永遠都是一個因素
儘管技術、系統與流程皆已到位,人為因素仍是一大問題。對於可能無意中透過網路釣魚電子郵件或重複密碼危害安全性的員工而言,這一點尤其如此。該區採用身分管理工具和嚴格的流程來減輕這些風險,但人類要素仍然是我們最大的挑戰。
這就是 Pure Storage 的 SafeMode 能真正發揮功用之處。它能降低風險,並保護資料免受網路威脅,包括人為錯誤,是備份和復原策略的基礎。
建立一種能夠預測錯誤和計畫的文化,可以讓重大錯誤變成輕微挫折,進而發揮一切影響力。最後,人們會犯錯,但計劃要讓它們的組織恢復得更快、更強大。
從一個錯誤到下一個,再回到正常的業務
意外斷電可能感覺像是世界的盡頭,但不必然如此。透過專注於優質備份、鼓勵跨協作,並為人為錯誤做好準備,像我們這樣的組織可以將潛在的災害轉化為寶貴的學習體驗。這不僅止於解決手邊的問題,更在於建立足夠堅固的系統與文化,無論未來會如何回彈。
對我們來說,接下來是颶風伯利。幸運的是,我們能夠根據從停電中學到的經驗來應對暴風雨。如果今天發生這種情況,我們相信只要幾個小時內就能還原 80 TB 的資料。
除了 Pure Storage 平台能節省時間與可靠性之外,在業務如常運作時,我們的團隊也不再像我們之前的供應商一樣,花時間為儲存問題進行故障排除。Pure Storage 的本質讓我們能夠專注於其他任務,Pure 團隊提供出色的支援,進一步提升了我們的體驗。更重要的是,得益於 Evergreen® 訂閱模式,我們預計成本比該區先前的儲存供應商節省高達 30%。
Pure Storage 為我們提供全球最佳服務,這是一種符合成本效益、彈性的基礎架構,可讓我們在需要時快速復原,同時大幅簡化營運。我們可以提供安全且持續的學習環境,讓學生在其中表現優異,我們能安心無虞。