Azure Automation:使用 CheckPoint 實現可靠的容錯 Runbook 執行


作為 Azure Automation Runbook 的編寫者,我們都希望建立的 Runbook 在遇到意外問題(如錯誤、異常、網路問題和意外中止)時能夠可靠地執行。 Azure Automation 可以幫助您實現這一目標。 Azure Automation 構建於 Windows PowerShell 工作流程基礎之上,支援 Checkpoint 技術,能夠保持工作流程,這樣一旦發生中斷,隨後將可以在中斷點或其附近恢復。因此, Checkpoint 是一項十分強大的功能,大家勢必希望在 Automation Runbook 中加以利用。有效利用 Checkpoint 可使您建立的 Runbook 自動執行長時間運行的流程,順利訪問不同的網路系統,保證不重複那些不應該重複(非冪等任務)或重複起來較為昂貴的操作,並可有計劃地中斷以納入手動步驟。

在本文中,我們將探討在 Automation Runbook 中使用 Checkpoint 的原因、場景和方式。大家可以重溫一些有關 PowerShell 工作流程 Checkpoint 的現有資訊,從而説明理解本文。

什麼是 Checkpoint

Checkpoint 是 Runbook 作業的當前狀態快照,包括當前的變數值、所有輸出及其他可序列化狀態資訊。每個 Checkpoint 均將保存到儲存中。如果有意或無意導致 Runbook 暫定,接著重新恢復,工作流程引擎將使用最新 Checkpoint 數據還原和恢復 Runbook 。

Azure Automation Checkpoint

在 Azure Automation 中,當您保持一個 Runbook 作業時,將會建立 Checkpoint 並將其儲存到 Azure Automation資料庫中。資料庫中僅會儲存存每項作業的最新 Checkpoint 。各 Checkpoint 會替換前一個 Checkpoint 。如果 Runbook 先暫定而後恢復,最後儲存的 Checkpoint 將用於儲存和恢復 Runbook 。

與 PowerShell工作流程(將 Checkpoint 儲存到託管工作流程會話的電腦硬碟中)不同, Azure Automation 將 Checkpoint 儲存到 Azure Automation 資料庫中。因此,如果運行 Runbook 的工作進程發生意外中止,那麼待該進程重新開機後或其他工作進程可以繼續完成作業,使用資料庫中的最新 Checkpoint 恢復作業。

為什麼使用 Checkpoint

以下是在 Runbook 中使用 Checkpoint 的幾點原因:

  • 確保某些操作不重複

  • Checkpoint 對於在 Runbook 發生意外中止(暫定)後又恢復時保證不重複執行那些不應該重複的操作(非冪等任務)。例如,建立虛擬機器後立即核查 Runbook Checkpoint ,如果 Runbook 作業暫定後又恢復,則不能建立重複的虛擬機器。

  • 保護長時間運行的任務

  • 在現實世界中,錯誤時常發生。包含多個步驟、長時間運行的任務容易因網路問題、電腦重啟或意外中止、超時、電源中斷等造成中斷。為避免重新執行昂貴任務,需要檢查 Runbook 的 Checkpoint ,確保任何 Runbook 重新啟動後都不會重新執行任務。

  • 確保長時間運行的 Runbook 完成運行

  • Azure Automation 具有“公平共用”功能,該功能會卸載執行時間達 30 分鐘的所有 Runbook,以便其他 Runbook 繼續運行。最終,將會重新載入被卸載的 Runbook,完成載入後,將從最後一個 Runbook Checkpoint  恢復執行。因此,為保證 Runbook 最終完成,您必須不時添加 Checkpoint 且運行間隔不得超過 30 分鐘。(此論壇文章列舉了有關這個問題的一個示例。)

  • 允許計畫內中斷或手動中斷

  • 在某些場景下,您可能希望暫定正在運行的 Runbook 。例如,暫定 Runbook 作業等到批准後再繼續運行,或者暫定 Runbook 作業等待修復意外或計畫內系統問題。

如何向 Runbook 添加 Checkpoint 

Checkpoint-Workflow 活動

Checkpoint-Workflow 活動(別名:Persist)是一項標準的 PowerShell 工作流程活動,在 Runbook 中可用於在某個特定的點建立 Checkpoint 。在 Runbook 中發生 Checkpoint-Workflow 活動的特定點建立 Checkpoint  。


Download-Updates
Reboot-VM
Checkpoint-Workflow
Email-Team
Checkpoint-Workflow

-PSPersist 活動通用參數

每當調用此活動時,都可以納入 –PSPersist 工作流程活動通用參數。這將會在活動完成後,立即強制建立 Checkpoint 。

Download-Updates

Reboot-VM –PSPersist $True

Email-Team –PSPersist $True

$PSPersistPreference工作流程首選項變數

在 Runbook 中,您可以包含 $PSPersistPreference = $True 語句。這將會導致在完成 preference 語句執行的活動後刪除 Checkpoint 。如果將此 preference 語句設在 Runbook 開頭,那麼將會在 Runbook 中的每項活動後均建立一個 Checkpoint 。您可以通過包含 $PSPersistPreference = $False 語句(這是 Runbook 默認設置)關閉自動Checkpoint,而後運行活動時將不會使用自動 Checkpoint 。

請注意,出於性能和策略原因,每項活動後均執行 Persist 可能並非最佳方法。每個 Checkpoint 均需要處理,以便實現工作流程狀態序列化並將其儲存到資料庫中。另外,在某些場景中(後面的例子),如果 Runbook 暫定,您可能會希望重複一些活動。出於上述原因,不推薦運用此方法。

Download-Updates

$PSPersistPreference = $True

Update-VM

Email-Team

$PSPersistPreference = $False

Suspend-Workflow 活動

當在 Runbook 中使用 Suspend-Workflow 活動時,最直接的結果是建立 Runbook Checkpoint ,然後將 Runbook 暫定。您將需要在 Runbook 中使用此活動,例如,如果需要 Runbook 執行某項作業,然後等待審批再繼續運行。"獲得"批准的方式是恢復 Runbook 作業。

Download-Updates

# Get permission to apply updates

Suspend-Workflow

# Continue if resumed

Reboot-VM –PSPersist $True

Email-Team –PSPersist $True

添加 Checkpoint 的位置

通常情況下,最好明確標記 Persist 工作流程的位置。並不是要設置 $PSPersistPreference 變數在每項活動後執行綜合檢查,通常最好從綜合戰略角度出發,在需要 Persist 操作的工作流程位置使用 Checkpoint-Workflow 活動、 Suspend-Workflow  活動或  –PSPersist 參數。某些位置的確需要 Persist 工作流程,但有些位置確實不需要 Persist 工作流程(示例如下)。另外,請記住, Persist 工作流程需要在系統層實現,這會在一定程度上影響工作流程性能。

最佳實踐:在下列情況下,您可能需要在工作流程中添加 Checkpoint :

  • 在不希望重複(非冪等)的任何活動後面。

  • 由於成本限制不希望重複的長時間運行或費用昂貴的活動後面。

  • 在執行時間超過 30 分鐘的 Runbook 中。30 分鐘後,將啟用“公平共用”功能,暫時卸載 Runbook,以便其他 Runbook 運行。最終,系統將重新載入該 Runbook ,並從最後一個 Checkpoint 恢復執行。如果未添加任何 Checkpoint ,那麼 Runbook 將從頭恢復,當然還會再次執行公平共用,這種情況將會重複出現,Runbook 將永遠無法完成。
  • 在超出正常問題概率(可能導致故障和工作流程暫定)的任何活動前。您希望在工作流程恢復時重複該活動,從而確保活動工作順利完成。例如,訪問可能受到網路問題影響的遠端系統的活動。

最佳實踐:不能在下列情況下添加 Checkpoint :

  • 在工作流程暫定後又恢復時希望重複的工作後

  • 重複執行的成本比建立 Checkpoint 費用低的工作後

  • 在 InlineScript 塊中(不允許)

演示場景:更新虛擬機器

  1. 從 Windows 更新下載最新修補程式
  2. 重新開機虛擬機器以應用修補程式
  • Checkpoint

       3. 向團隊發送電子郵件報告已應用更新

  • Checkpoint

       4. …

在此場景下,可以重複步驟 1(因為冪等),但不能重複步驟 2 和步驟 3。因此,需要在步驟 2 和步驟 3 後添加 Checkpoint 。"每項活動後自動 Persist "設置仍然有效;但是,在步驟 1 後添加 Checkpoint 未必會向系統添加工作。

演示場景:通知客戶

  1. 從資料庫獲取客戶清單
  2. 向客戶發送電子郵件通知新策略
  • Checkpoint

       3. 向管理層發送電子郵件,表明已向客戶發送電子郵件

  • Checkpoint…

       4. ...

有時候,您不希望重複活動組,但只有在該組的所有活動均成功完成的情況下才適用。在此場景下,步驟 1 和步驟 2 應始終同時運行,確保在發出電子郵件時檢索到的客戶清單保持最新狀態。因此,如果 Runbook 工作進程在步驟 2(發送客戶電子郵件)前發生意外中止,待到 Runbook 作業恢復後,我們希望它再次從步驟 1(檢索客戶清單)開始運行。但是,如果在步驟 3 前發生意外中止或暫定,那麼我們希望確保不重複執行步驟 2(不希望再次向客戶發送電子郵件)。

最佳實踐:值得注意的是,不能在工作流程 InlineScript 塊或函數中添加 Checkpoint 。這是因為InlineScript 塊或函數以PowerShell 腳本(而非PowerShell工作流程腳本)的形式運行。因此,為了充分利用工作流程 Persist 的優勢,最好將 Runbook 代碼拆分為多項模組化活動,這樣就能在活動之間添加 Checkpoint ,或者如果需要 InlineScript ,那麼可以使用多個 InlineScript 塊,以便在 InlineScript 塊之間建立 Checkpoint 。

暫定和恢復 Runbook

建立 Checkpoint 和暫定 / 恢復 Runbook 同時使用。向 Runbook 添加 Checkpoint ,這樣當 Runbook 暫定時, Runbook 即可從最後一個Checkpoint 恢復。

Azure Automation 的 Runbook 作業可通過多種方式暫定:

  • 使用者使用 Azure Automation 門戶介面暫定

  • 您可以選擇在 Azure Automation 門戶介面中暫定正在運行的 Runbook 作業。

  • 該作業將在下一個Checkpoint 暫定。如果未在 Runbook 中建立任何 Checkpoint ,那麼 Runbook 將繼續運行直至結束,並且始終顯示“正在暫定”狀態。

  • 用戶在 Runbook 中使用 Suspend-Workflow 暫定

  • 在 Runbook 中包括 Suspend-Workflow 活動。

  • 將為作業建立 Checkpoint ,然後在調用 Suspend-Workflow 的位置暫定。

  • 用戶使用 Suspend-AzureAutomationJobcmdlet 暫定

  • 在 PowerShell 腳本或工作流程中,您可以使用 Suspend-AzureAutomationJob cmdlet 暫定正在運行的 Azure Automation Runbook 作業。

  • 該作業將在下一個 Checkpoint 暫定。如果未在 Runbook 中建立任何 Checkpoint ,那麼 Runbook 將繼續運行直至結束,並且始終顯示“正在暫定”狀態。

  • Azure Automation工作流程引擎在 Runbook 執行時間超過 30 分鐘時暫定

  • 當正在運行的作業執行時間超過 30 分鐘時,將會觸發“公平共用”功能,系統將暫時卸載 Runbook 。作業狀態將被設置為“正在運行,等待資源”。最終,將重新載入 Runbook ,然後從最後一個 Checkpoint 開始執行。

  • Azure Automation 工作流程引擎在 Runbook 發生異常後意外暫定

  • 當正在運行的作業發生異常時, Runbook 工作進程會將其卸載, Runbook 狀態將設置為“已暫定”。

  • 因 Runbook 工作進程發生意外中止而意外暫定

  • 如果 Runbook 工作進程發生意外中止,該工作進程上運行的作業將立即終止。這些作業在資料庫中的狀態仍繼續為“正在運行”。當上述或替換工作進程恢復線上狀態時,將恢復這些作業並從最後一個Checkpoint繼續執行。

Azure Automation 的 Runbook 作業可通過多種方式恢復。在任何情況下,作業都將從最後一個 Checkpoint 進行恢復;若未建立 Checkpoint ,則從頭開始恢復。

  • 在 Azure Automation 門戶介面中手動暫定

  • 您可以選擇使用 Azure Automation 門戶介面恢復暫定的作業。

  • 使用 Resume-AzureAutomationJobcmdlet 暫定

  • 在 Runbook 工作進程意外中止後自動暫定

  • 當工作進程恢復線上狀態或者指定另一個工作進程接替其操作時,該工作進程將會在為其分配的資料庫中查找作業。對於狀態顯示為“正在運行”但尚未在工作進程上運行的任何作業,工作進程將從最後一個 Checkpoint 自動恢復(這與上方暫定列表中的第 5 項的情況相同)。

值得注意的是,恢復 Runbook 時,可在不同於之前暫定的工作進程上恢復 Runbook 。因此,需要重新建立 Runbook 期望使用的任何本地狀態。例如,這意味著,如果 Runbook 需要在 Checkpoint 後的任意一點與 Azure 相連,需要在各 Checkpoint 後再次調用本地檔中設置狀態的命令(如 Connect-Azure、Add-AzureAccount、Select-AzureSubscription 或 Set-AzureSubscription )。

小結

大家可以看到,如果要充分利用PowerShell工作流程的這項關鍵功能並使 Runbook 能夠應對中斷情況,應在 Runbook 中添加 Checkpoint 。添加 Checkpoint 很簡單。創作 Runbook 期間預先計畫,即可保護較為昂貴的長時間運行任務應對意外中斷,真正建立強大可靠的 Runbook 。
 

本文翻譯自  Azure Automation: Reliable, Fault-Tolerant Runbook Execution Using Checkpoints

Comments (0)

Skip to main content