vSAN 8 NVMe 全快閃 靜態資料加密

融合多台ESXi主機儲存 空間變大讀寫效能提升

實戰部署vSAN 8.x 從零開始完整打造

2024-02-15
VMware vSAN 8同時支援vSAN ESA與vSAN OSA兩種儲存架構,讓企業IT能夠自行決定所要部署的授權版本,前者雖然需要授權費用較高的vSAN Advanced版本,但能夠藉由更先進的單一儲存層技術讓純NVMe的儲存裝置效能徹底發揮。現在,就來學習如何簡單快速地完成部署vSAN 8。

如今已是SSD為主流的時代,大多數消費者無論是選購桌機還是筆電,無論需要使用到幾顆內接磁碟,都會希望全面採用SSD,原因只有一個,那就是它夠便宜。回到企業IT儲存的應用,其實也是相同的情況,過去在VMware vSAN的OSA(Original Storage Architecture)儲存架構中,採用的是快取層和容量層組合而成的磁碟群組,其中快取層(Cache Tier)使用的就是SSD裝置,主要用途就是用於資料快取和寫入使用,至於容量層(Capacity Tier)則用於資料儲存空間,為節省硬體成本容量層的磁碟可以選擇SAS或SATA介面的HDD。

儘管OSA架構下的容量層儲存裝置一樣可以採用SSD,來形成全快閃的儲存組態,但由於仍是在磁碟群組的雙層式架構下運行,因此使得快取層的SSD裝置並無法作為儲存容量,讓整體的vSAN運行無法完全發揮全快閃儲存組態的效益,換句話說,就是每新建一個磁碟群組,就得犧牲一顆SSD的快閃儲存空間。

在最新的VMware vSAN 8.x版本中,不僅繼續提供傳統的OSA架構,更進一步提供先進的ESA(Express Storage Architecture)儲存架構,此架構僅支援NVMe SSD儲存裝置並且採用單一儲存層,由於單一儲存層是使用儲存池(Storage Pool)的運行機制,因此沒有傳統OSA雙層式架構的分層處理問題,便可讓所有的I/O存取需求充分享有NVMe SSD的高效能運行,以及完整的儲存容量配置。

先進的ESA儲存架構所帶來的並非只有效能與空間的充分使用,它也讓虛擬機器可在結合儲存原則的配置下,讓資料的壓縮率比傳統OSA架構高出四倍。在快照的處理機制上,則採用了最新的B-Tree技術,讓快照的整併與刪除的處理速度提高一百倍。此外,在ESA架構下的RAID-5/6容錯機制,不再需要為了存取效能的問題,而屈就採用RAID-1這種占用較大儲存空間的容錯機制,因為RAID-5/6所採用的LFS檔案系統,改善了RAID-5/6 Erasure Coding模式的運行效能,這使得它整體的I/O讀寫效率相當於RAID-1,可說是成為了兼顧效能與容量的最佳選擇。

在開始正式部署vSAN 8的運行架構之前,最好先參考表1的說明,了解各種授權版本所提供的功能清單。vSAN 8的授權版本包括標準版(Standard)、進階版(Advanced)、企業版(Enterprise),以及遠端辦公室∕分支辦公室(簡稱ROBO)的標準版、進階版、企業版。接下來,就一起從無到有實際動手來部署一個vSAN ESA的超融合儲存架構吧!

主機與叢集準備

VMware vSAN超融合儲存架構的基本運行原理,就是融合多台ESXi主機的本機儲存裝置,不僅空間變大,也大幅提升了I/O讀寫效能與容錯能力,vSAN的基本架構便是至少三台以上的ESXi主機來建立vSAN的叢集。一旦完成vSAN叢集的建立與服務的啟用,便可以進一步啟用vSphere HA與DRS功能,讓虛擬機器的運行享有高可用性與高可度的運行機制。

在此已先安裝好三台ESXi主機以及一台vCenter Server Appliance,不過這三台主機皆未加入vCenter Server的連線管理。接下來,先連線登入到vSphere Client網站。在vCenter Server的節點上按下滑鼠右鍵,然後點選快速選單中的【新增資料中心】,接著如圖1所示在「新增資料中心」頁面中輸入新資料中心的名稱,並按下〔確定〕按鈕。

圖1  新增資料中心。

完成新增資料中心後,往後的維護便可透過此節點頁面來監控此資料中心旗下的所有主機、虛擬機器、叢集、網路以及資料存放區,換句話說,對於大型的私有雲環境,IT部門可以透過建立多個資料中心,進行分類與分權的管理。

如圖2所示,緊接著在剛完成建立的資料中心節點上按下滑鼠右鍵,然後點選快速選單中的【新增叢集】。

圖2  啟用資料中心右鍵選單,點選【新增叢集】選項。

如圖3所示,在「新增叢集」的「基礎」頁面中,只需要設定叢集名稱(例如vSAN-Cluster),不需要在此啟用任何進階功能服務(例如vSphere DRS、vSphere HA),因為這些都是待後續vSAN服務完成啟用後,再根據虛擬機器實際運行的需要來啟用即可。連續按下〔下一頁〕按鈕,完成設定。

圖3  新增叢集設定。

完成vSAN叢集的建立後,在叢集節點頁面的「動作」選單中點選【新增主機】。隨後將出現「新增主機」頁面,如圖4所示,在「新主機」子頁面下完成輸入三台ESXi主機的連線位址,可以選擇輸入IP或FQDN。接著,完成第一台ESXi主機登入帳號與密碼的設定,再勾選「為所有主機使用相同的認證」設定,然後按下〔下一頁〕按鈕。

圖4  新增主機。

在「安全性警示」頁面中,如圖5所示,會顯示出三台主機上的憑證無法驗證的訊息,將這三台主機的警示訊息皆勾選後,按下〔確定〕按鈕。

圖5  出現安全性警示。

來到「主機摘要」頁面中,將可以檢視到每一台ESXi主機的名稱或IP位址、版本、網路以及資料存放區名稱,確認無誤後按下〔下一頁〕按鈕。如圖6所示,在「匯入映像」頁面中選擇「不會入映像」,並按下〔下一頁〕按鈕。最後,在「檢閱」頁面中,可以看到系統提示這些主機在移入叢集之前將會進入維護模式狀態,按下〔完成〕按鈕即可。

圖6  匯入映像設定。

完成將三台ESXi主機加入叢集後,在主機與叢集的分類頁面中,便可以從叢集節點展開後,查看到目前三台ESXi主機皆處於「維護模式」狀態。分別在這三台主機頁面的「動作」選單中,點選【維護模式】→【結束維護模式】。

磁碟與基礎網路準備

完成vSAN叢集與主機的準備後,接下來就要為每一台ESXi主機準備後續vSAN架構運行中所會使用到的儲存設備與網路。首先是儲存設備部分,點選至ESXi主機節點的「設定」→「儲存區」→「儲存裝置」頁面。在如圖7所示的範例中,可以看見已為每一台ESXi主機皆額外安裝了兩顆NVMe PCIE傳輸介面的SSD磁碟(200GB)。

圖7  ESXi主機儲存裝置。

如果上述這些SSD磁碟曾經被vSAN架構使用過,並且磁碟中的資料已經不需要留存,建議可以在勾選後點選「清除磁碟分割」超連結,以便提供全新vSAN乾淨的磁碟空間。

接下來是網路的準備部分,最好能夠為vSAN的運行準備一個專用的網路,而不是與其他不同用途的網路混用。首先必須先加裝一張新的網卡,接著在如圖8所示ESXi主機節點的「設定」→「網路」→「VMkernel介面卡」頁面中,可以發現此範例中目前僅有一個VMkernel介面卡,並且是作為管理網路用途,因此點選「新增網路」超連結繼續。

圖8  VMkernel介面卡管理。

接著,在「選取連線類型」頁面中選取「VMkernel網路介面卡」,以便後續可以綁定一張準備好的新網卡,並設定成vSAN服務的專用網路,然後按下〔下一頁〕按鈕。

在「選取目標裝置」頁面中,由於已經事先安裝一張新網卡,因此可以「選取現有的標準交換器」或「新增標準交換器」,如圖9所示,在此以「選取現有的標準交換器」設定為例,並且在下方的交換器清單中選取「vSwitch0」。

圖9  選取目標裝置。

按下〔下一頁〕按鈕來到「連接埠內容」頁面,如圖10所示,輸入一個新的網路標籤(例如vSAN-Network),再從「可用服務」清單中唯一勾選「vSAN」,並按下〔下一頁〕按鈕。接著,在「IPv4設定」頁面中,選取「使用靜態IPv4設定」,再依序輸入IPv4位址、子網路遮罩,若需要使用到不同的閘道位址,才要勾選「覆寫此介面卡的預設閘道」設定,然後按下〔下一頁〕按鈕。最後,在「即將完成」頁面中確認上述設定皆無誤後按下〔完成〕按鈕。依照上述步驟,繼續完成其他兩台ESXi主機的設定。

圖10  設定連接埠內容。

進階vDS網路配置

在VMware vSphere架構下的虛擬網路配置,大致可以區分為標準交換器(vSphere Standard Switch,vSS)以及分佈式交換器(vSphere Distributed Switch,vDS)。vDS與vSS在配置管理上主要的不同,在於提供了集中式的配置管理和監視,以簡化vSphere架構下的網路管理,不再需要為每一台ESXi主機手動完成相同的網路配置,這將大幅提升vSAN叢集主機的管理效率。

接下來,就新增一個vDS供vSAN叢集主機使用。在資料中心節點頁面中依序點選「動作」選單中的【Distributed Switch】→【新增Distributed Switch】。

接著,在「名稱和位置」頁面中輸入新的Distributed Switch名稱(例如vSAN-vDS),並按下〔下一頁〕按鈕。在「選取版本」頁面中,選擇「8.0.0-ESXi 8.0及更新版本」,然後按下〔下一頁〕按鈕,如圖11所示。至於在這些不同版本的階段中,分別有新增哪些功能,依序由上至下分別有:網路卸載支援、NVMe over TCP、LACP快速模式、NSX分散式連接埠群組、MAC學習。

圖11  選取版本。

如圖12所示,在「設定組態」頁面中,可以決定是否要建立分散式連接埠群組。在此確認已勾選「建立預設連接埠群組」設定,並輸入新的連接埠群組名稱,再按下〔下一頁〕按鈕。隨後,在「即將完成」頁面中確認上述設定無誤,再按下〔完成〕按鈕。回到資料中心節點的網路清單中,將可以看到剛剛新增的Distributed Switch名稱,在選取後,點選「動作」選單中的【新增和管理主機】。

圖12  設定組態。

在「選取工作」頁面中,選取「新增主機」設定,並按下〔下一頁〕按鈕。如圖13所示,來到「選取主機」頁面後,勾選準備好的三台叢集主機,並按下〔下一頁〕按鈕。

圖13  選取主機。

如圖14所示,在「管理實體介面卡」頁面的「所有主機上的介面卡」子頁面中,為vSAN專用網卡(例如vmnic1)的「指派上行」設定選為【上行1】,再按下〔下一頁〕按鈕。

圖14  管理實體介面卡。

來到「管理VMkernel介面卡」頁面後,針對上一個步驟中所設定「上行1」的網卡,點選「指派連接埠群組」超連結,如圖15所示,再選取先前建立過的分散式連接埠群組(例如vSAN-vDPGroup),並按下〔下一頁〕按鈕。

圖15  管理VMkernel介面卡。

在「移轉虛擬機器網路」頁面中,由於目前尚未有任何現行的虛擬機器在運行中,因此保留預設值即可,並按下〔下一頁〕按鈕。最後,在「即將完成」頁面中,確認上述步驟設定,若無誤就按下〔完成〕按鈕。然後,回到所建立的vDS頁面的「主機」清單中,如圖16所示將可以查看到剛剛加入的所有ESXi主機。

圖16  檢視管理主機清單。

啟用vSAN服務

在一切準備工作就緒後,就可以來完成vSAN服務的啟用設定。先點選至vSAN叢集節點的「vSAN」→「服務」頁面。如圖17所示,先選取「我需要本機vSAN資料存放區」設定,接著在vSAN叢集組態類型中選取「標準vSAN叢集」。至於另一項也同樣相當實用的「雙節點vSAN叢集」,將在其他專文中分享實戰內容。最後,按下〔設定〕按鈕。

圖17  啟用vSAN服務。

如圖18所示,在「vSAN ESA」頁面中預設並未啟用「vSAN ESA」設定,換句話說,如果仍打算使用傳統的vSAN OSA架構設計,那麼在此直接按下〔下一步〕按鈕即可。其實即便是傳統的vSAN OSA架構,在VMware vSAN 8.x的版本中,也有對於每個磁碟群組寫入緩衝的大小,從原有的600GB的限制提升至1.6TB,可大幅提升I/O運行速度,而且此架構的部署不須要有vSAN Advanced以上版本的授權,僅需成本較低的vSAN Standard授權即可。

圖18  vSAN ESA設定。

接下來,以啟用「vSAN ESA」設定為例,可以發現即便在相容性檢查的「裝置清單」中,目前所有ESXi主機的NVMe儲存裝置皆未通過認證,但仍然可以繼續完成後續的操作設定,按下〔下一步〕按鈕繼續。

如圖19所示,在「服務」頁面中,首先會發現vSAN ESA架構下的「空間效率」設定,是採用儲存區原則管理的壓縮設定。接著,若想要啟用「靜態資料加密」功能來保護儲存資料的安全,必須預先完成vSphere金鑰提供者的建立並在此完成設定。

圖19  ESA架構服務設定。

如果有啟用「資料傳輸加密」設定,則可以進一步設定重設金鑰時間間隔,資料傳輸過程中系統也將使用AES-256位元加密演算法,讓主機之間的所有資料和中繼資料流量,包括後續檔案服務主機之間連線,全部完成資料加密保護,以確保整個運行過程中所有資料的傳輸安全。

在「允許減少的冗餘」選項部分,用途在於當有變更重複資料刪除和壓縮或是加密狀態時,vSAN將可以視需要降低虛擬機器的保護層級。最後,還可以決定是否要啟用「RMDA支援」功能,不過啟用此功能的前提條件是,所有裝置都需要在每個vSAN上行和RoCEv2通訊協定的支援配置上皆有配對的vmrdma裝置才行。一旦此功能成功啟用,將可以有效提升vSAN的I/O讀寫效率以及降低使用CPU的運算資源。再按下〔下一步〕按鈕,繼續設定。

若在上一步驟中沒有啟用「vSAN ESA」架構設定,那麼系統便會以預設的vSAN OSA架構來開啟「服務」頁面。如圖20所示,在此可以發現關於OSA架構的「空間效率」設定,便不是直接參考儲存區原則的配置,而是讓管理員直接在這裡選擇無、僅壓縮、重新資料刪除和壓縮。

圖20  OSA架構服務設定。

如圖21所示,在「宣告磁碟」頁面中,由於使用的是vSAN ESA架構,因此不會有磁碟群組的配置問題,只需要將所有要加入vSAN ESA架構的NVMe快閃磁碟勾選「宣告」即可。完成磁碟的選取後,便可以在此頁面的上方查看vSAN的總體容量。至於「我希望vSAN來管理磁碟」的選項設定,只有在主機上有vSAN ESA相容磁碟時才能啟用。然後,再按下〔下一步〕按鈕。

圖21  宣告磁碟。

在「建立容錯網域」頁面中,由於目前僅部署三台ESXi主機,因此最多可容許1台主機故障,未來若加入更多主機,則可以進一步建立更多容錯網域。最後,在「檢閱」頁面中確認上述步驟中的每一項設定是否正確,確認無誤後按下〔完成〕按鈕。

在vSAN ESA服務架構的啟用過程中,如圖22所示將可以在「最近的工作」清單中查看到進行中的相關任務,包括更新vSAN組態、重新設定vSAN叢集等等。

圖22  最近的工作清單。

完成vSAN ESA服務架構的部署後,除了可以在vSAN叢集節點的「vSAN」→「服務」頁面中查看到各項服務的狀態外,還能夠在「磁碟管理」頁面中查看每一台vSAN叢集主機的磁碟健全狀態。未來若在主機中添加新的NVMe快閃磁碟,只要在此頁面中點選「宣告未使用的磁碟」超連結,即可立即完成vSAN儲存區的擴充。

若想要查看每一台vSAN叢集主機中,每一顆磁碟連接與容量的使用狀況,則點選「檢視磁碟」超連結,在此頁面中也可以查看所有不合格和未宣告的磁碟清單。對於每一台vSAN叢集主機所套用的儲存區原則設定,回到「磁碟管理」頁面中點選「檢視主機物件」超連結即可。

vSAN主動測試

想要確認vSAN ESA叢集架構是否能夠正常運行的方法,就是直接在此叢集中建立虛擬機器進行測試,不過大可不必自行手動建立虛擬機器,只要透過vSAN ESA叢集節點的「監控」→「vSAN」→「主動測試」頁面,按下其「虛擬機器建立測試」功能區內的〔執行測試〕按鈕。

緊接著會出現相關提示訊息,告知虛擬機器建立的測試,正常大約需要20秒至40秒左右,若出現逾時狀況,則最多會到達180秒。整個測試任務執行的過程中,如果成功建立虛擬機器,隨後也將會自動完成刪除操作。

如圖24所示,便是執行虛擬機器建立的測試結果,若通過測試,在所有ESXi主機的「狀態」欄位內便會顯示「成功」。相反地,若沒有通過測試,ESXi主機的「錯誤」欄位中將出現相關錯誤訊息。

圖24  虛擬機器建立測試。

除了可以進行虛擬機器建立的測試外,在此頁面中還可以選擇進行網路效能測試、儲存區效能測試。其中的網路效能測試,主要目的在於評估ESXi主機上的vSAN vmknic網路頻寬,評估的結果可當作對於潛在網路問題疑難排除時的參考。

如圖25所示,便是按下〔執行測試〕按鈕後的提示訊息,其中必須注意的是,整個測試過程可能會產生大量的網路流量,進而影響vSAN叢集中虛擬機器的運行效能,因此進行這項測試的執行最好安排在離峰時間,或是尚未正式上線的vSAN叢集。

圖25  執行網路效能測試。

在此建議一併勾選「啟用網路診斷模式」設定,如此將可讓vSAN的效能服務先建立RAM磁碟統計資料物件,再將收集到的網路度量數據儲存至RAM磁碟,按下〔執行〕按鈕開始進行。在完成網路效能測試後,便可以檢視到vSAN叢集中主機間的儲存網路傳輸速率,以及相關健康狀態資訊。

最後是「儲存區效能測試」的部分,目前並非直接經由vSphere Client內建的功能來完成,而是透過在「儲存區效能測試」功能區中的HCIBench超連結來開啟如圖26所示的下載頁面。此工具是一個可部署於vSphere中的OVA檔案,一旦完成部署與設定,便可以進行儲存區效能自動化的測試,來完成vSAN儲存效能概念驗證(PoC)的目的。

圖26  下載儲存區效能測試工具。

請注意!在啟用vSAN ESA服務的過程中,可能會遭遇以下錯誤而導致vSAN ESA建立失敗:

vSAN Failed to create storage pool disk(s) with exception: Failed to invoke create FS on disk

其解決方法是,當vSAN叢集中的ESXi主機使用單一磁碟,需要的RAM大小為16GB,使用兩顆磁碟的RAM大小需求則至少為18GB,否則實作時將出現上述的錯誤。

新增虛擬機器

在vSAN ESA架構通過了基本的測試後,接下來就可以正式地在此叢集中新增虛擬機器並觀察後續的運行狀態與效能,若是在新虛擬機器的Guest OS中有安裝自行開發的應用程式,可透過壓力測試工具來相較一下非vSAN架構下的效能表現。

首先在vSAN叢集節點的「動作」選單中點選【新增虛擬機器】。接著,在「選取建立類型」頁面中選取「建立新的虛擬機器」。其實,這裡如果已經有現行的範本可用,選取「從範本部署」肯定會更快完成新虛擬機器的建立。設定完成後,按下〔下一頁〕按鈕。

在「選取名稱和資料夾」頁面中,先輸入新虛擬機器的名稱,在此建議最好讓虛擬機器的名稱與後續Guest OS的電腦名稱一致,以利於虛擬機器數量逐漸增加的管理。至於資料中心的選取,記得選擇vSAN叢集所在的資料中心位置,按下〔下一頁〕按鈕繼續。

在「選取計算資源」頁面中,如圖27所示,若目前vSAN叢集已啟用DRS模式,便可以直接選取叢集節點,讓DRS自動去分配適合運行的虛擬機器。對於尚未啟用DRS模式的vSAN叢集,則必須自行選擇適合運行的ESXi主機,否則在「相容性」訊息列中將會出現警示訊息。按下〔下一頁〕按鈕,繼續設定。

圖27  選取計算資源。

在「選取儲存區」頁面中便可以看到vsanDatastore的儲存區容量、已佈建大小以及可用空間等等資訊。在此,也可以根據實際虛擬機器運行的需要,勾選「停用此虛擬機器的Storage DRS」設定,以及修改「虛擬機器儲存區原則」設定。

在「選取相容性」頁面中,則建議採用預設的「ESXi 8.0及更新版本」設定,因為使用最新虛擬硬體版本20的虛擬機器,可提供ESXi 8.0主機運行時的最佳效能與全新功能。在「選取客體作業系統」頁面中,請依據實際要使用的客體作業系統版本來做選擇,這裡以選擇「Microsoft Windows Server 2022(64位元)」為例,然後按下〔下一頁〕按鈕。

在「自訂硬體」頁面中,可根據實際的配置需要來設定虛擬硬體、虛擬機器選項、進階參數,其中最重要的不外乎是CPU、記憶體、硬碟以及網路的配置,必須按照所要運行的應用系統與服務來完成合理的資源配置,例如可能希望自定義虛擬硬碟的類型、儲存位置。

若是在完成虛擬機器新增後,才發現需要調整資源設定,仍可透過虛擬機器頁面「動作」選單中的【編輯設定】,開啟如圖28所示的頁面進行修改。在此範例中,由於已對於準備用來安裝Guest OS的ISO映像,預先存放在vsanDatastore儲存區中,因此便可以透過修改「CD/DVD光碟機」的設定來載入此映像,並勾選「開啟電源時連接」。

圖28  編輯虛擬機器設定。

完成上述有關於虛擬機器的建立與設定後,就可以開始依序完成Guest OS、VMware Tools以及所需應用程式與服務的安裝。

想要知道運行中的虛擬機器對於vSAN叢集資源的使用狀況,最快速的方式就是直接在vSAN叢集節點的「摘要」頁面中,如圖29所示查看「vSAN使用量」和「vSAN健全狀況」小工具,如此便可以得知整體的健康評分及趨勢。若需要完整運行的趨勢分析,則點選「檢視趨勢詳細資料」超連結。

圖29  vSAN叢集摘要資訊。

還記得在前面有關於vSAN服務的「建立容錯網域」設定,系統有提示在目前三台ESXi主機的vSAN叢集架構中,可容許一台ESXi主機故障時仍能維持vSAN的正常運行。接下來,就將其中的一台esxi01.lab02.com主機關機,看看此時的運行會發生甚麼事。

如圖30所示,緊接著將立即在vSAN叢集的「監控」→「工作和事件」→「事件」頁面中,檢視到「無法同步主機esxi01.lab02.com」的事件,然後再依序出現「由於連線問題,已失去磁碟區」、「已成功在發生連線問題後還原對磁碟區的存取權」等事件。

圖30  檢視叢集事件。

從上述的三個事件可以知道,單一主機的故障確實不會造成任何資料的遺失,以及運行中的虛擬機器停擺。不過,如果在這個架構中發生了二台主機的故障,那麼最後的兩則事件便不會出現,而導致運行此vSAN叢集中的虛擬機器跟著停擺。換句話說,若希望容許故障的ESXi數量必須更多,那麼就必須在vSAN叢集架構中部署更多ESXi主機,以及啟用容錯網域(Fault Domain)功能。

結語

VMware vSAN不僅可以作為虛擬機器的儲存系統,還能同時成為iSCSI Target,讓各類叢集架構與備份系統享有高效能、高可用性的儲存環境。面對同時要肩負起多項vSAN儲存需求的管理員而言,最重要的就是要有一套完善的監控管理工具,所幸VMware vSphere早已提供可因應不同情境使用的監控工具,包括vSphere Client、PowerCLI及vSAN Live App,皆可以輕鬆連線監控vSAN。

<本文作者:顧武雄,Microsoft MVP 2004-2016、MCITP與MCTS認證專家、台灣微軟Technet、TechDays、Webcast、MVA特約資深顧問講師、VMware vExpert 2016-217、IBM Unified Communications/Notes/Domino/Connections Certified。>


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!