混合多雲

順應混合多雲浪潮 現代化儲存更見敏捷高效

資料驅動企業IT價值 專家各建言因應大趨勢

2021-03-16
過去一年,即使全球各地都深受新冠肺炎(COVID-19)影響,資料增長卻從未停歇。商業智慧分析業者Domo近期發表了《Data Never Sleeps》最新版本的資料圖表,顯示當今在短短的一分鐘內,Facebook使用者上傳了147,000張照片、有347,222個故事被上傳到Instagram上、YouTube創作者上傳500小時的影片,而Twitter每分鐘就有319個新用戶。

 

顯然地,在生活周遭,社交媒體、影音串流、廣告點擊、線上交易等等,無時無刻都在創造資料。

但不只如此,企業內部亦然,根據調研機構IDC發表的「Worldwide Global StorageSphere Forecast, 2020–2024」,2020年全球儲存數據總量已增長到6.8ZB,相較於2019年增長了17%,預估到了2024年將增長到8.9ZB。

隨著資料量的爆炸增長,許多儲存的趨勢與技術也應運而生,而企業的關鍵是應該如何擬定對的策略,善用數據並且加以妥善地保存與保護,找出資料價值變現。2021年元月,網管人假華南銀行國際會議中心舉辧了「駕馭疫後新資料時代 2021企業儲存策略論壇」,儘管適逢疫情短暫緊張之時,但儲存業界主流大廠專家好手仍堅定傳達致勝的關鍵因素,協助企業在資料驅動時代,輕鬆贏得IT競爭力。

企業轉型三願景彈性、敏捷與自動化不可或缺 

活動一開場,由台灣IBM科技事業部儲存資深技術顧問戴忠義帶來「多雲邊緣AI儲存架構 敏捷高效數據資源整合」議題分享。他指出,隨著數位轉型進入第二篇章,這股由外向內驅動的轉變,也促使企業基礎架構與雲連接在一起,並且在邊緣處進行處理,換言之,企業IT基礎架構也須具備更大的彈性、敏捷性與自動化,才能滿足營運所需。

儘管適逢疫情短暫緊張之時,仍有不少學員到場聆聽講師分享。 

從IBM的角度來看,企業轉型有三大願景,包含上雲旅程、建構更智慧的企業,以及面對網路安全與彈性。針對這三大願景,IBM也有三大儲存解決方案來協助企業應對,包含可應用在混合多雲環境的FlashSystem系列、SVC儲存虛擬化解決方案;可運用在AI與大數據的Spectrum Scale、Elastic Storage System以及Cloud Object Storage;另外,資料保護也是不可或缺的一環,尤其是近期製造業面臨勒索病毒威脅,如何善用智能分析與資料保護技術,來確保營運持續運行,也是至要關鍵。

他提到,六年前IBM談CAMSS ,這是雲端(Cloud)、分析(Analytics)、行動(Mobile)、社群(Social)以及安全(Security)等字母的縮寫,現今則進入了混合多雲的時代。去年分享的容器、Kubernetes(K8s)已成為最容易實現數位轉型的利器,而在併購了Red Hat之後,IBM也認為Red Hat OpenShift將是下一個世代最容易實現的雲端作業系統,Red Hat容器平台-OpenShift Container Platform(OCP)現今已可以運行在IBM的軟、硬體或甚至x86伺服器或者任何雲環境,未來IBM也會全力擁抱容器雲的技術。「此時是最容易實現混合多雲的時候,企業應該迎頭趕上,瞭解如何真正上雲,然後邁向微服務架構。」

針對混合多雲環境,IBM以全快閃儲存設備協助企業打造靈活、現代且兼具敏捷的儲存系統,這款端到端的NVMe解決方案,搭配儲存級記憶體(SCM),IOPS將可達到1,800萬,而且延遲可小於70微秒(μs)。其之所以適用於混合多雲環境,正因為可與公有雲結合,例如企業可以將快照資料傳送到公有雲,形成一個雲端氣隙隔離(Cloud Air Gap),萬一線上環境被破壞,企業至少還能有資料副本,可在雲上還原。倘若企業已有虛擬化環境或是容器環境,那麼透過複製(Replication)的功能,便可以把工作負載移到公有雲。特別是勒索病毒肆虐,企業愈來愈重視資訊安全,智能分析也可以即時發現異常,即早告警。

隨著資料量快速增長,企業建立、分析與保存的資料也不斷攀升,針對AI與大數據應用,IBM提供了Spectrum Scale來滿足所需。一般來說,資料從搜集到推論應用會經歷四個階段,包含資料搜集、資料準備、資料訓練與推論應用。而每個階段有每個階段的任務與需求,這時Spectrum Scale便能依需求整合,舉例而言,在資料準備階段,可以結合Spectrum Discover資料治理解決方案,將Raw Data加上Tag或是加上索引,以便讓資料更有意義,此外,也能針對所有的資料提供統一命名空間,做到空間與效能都能自動隨需索取。而隨著非結構化資料大幅增長,企業常常會有海量資料儲存的需求,當企業資料超過100PB的需求的時候,Spectrum Scale可以支援磁帶,將冷資料卸載到磁帶。

謹守防疫政策,現場互動踴躍。

戴忠義進一步說明,Spectrum Scale是一款軟體定義的儲存方案,早期稱為IBM General Parallel File System(GPFS)。其優勢在於能達到一專多能、海納百川。這意思是指,Spectrum Scale能夠支援多項協定,從傳統的NFS、SMB或是POSIX協定到HDFS協定都能支援,也能透過CSI(Container Storage Interface)將企業級儲存設備轉化成適合容器運用的儲存設備。另外,也具備豐富的後端儲存資源及介質管理能力,亦即能夠在單一管理介面中管理固態硬碟、機械式硬碟以及磁帶,運用統一命名空間來降低架構的複雜度及管理成本,根據IBM內部的白皮書資料,將GPFS取代傳統HDFS,效能可快上15%,使用儲存分層(Storage Tiering)技術將有機會讓成本下降70%。

混合多雲旅程唯有駕馭雲端才能取得最大效益 

緊接著第二場,由NetApp資深技術顧問許宏俊帶來「如何以資料為本、駕馭混合多雲環境」的觀察與分享,點出隨著雲端運算日益普及,企業基礎架構不再只限於內部部署(On-premise),反而走向了混合多雲。

議程一開始,許宏俊便分享他的觀察,他提到,兩年前拜訪某企業客戶時,聊天的話題是「開始用雲了沒有?」如今,話題已變成了「現在用的是哪一朵雲或是用了哪幾朵雲?使用的經驗又是如何?」顯然地,企業的IT基礎架構已經是本地環境與多雲運用的混合環境,對於該企業來說,現在的作法是同一份資料存放在不同的雲端平台,但倘若資料能夠很輕易地在不同的雲平台移動,那麼便能運用不同雲平台的專長,對資料進行運算或分析,而這也是今日想要分享的主軸,企業現今正面臨著如何以資料為基礎來駕馭所有雲端的挑戰。

近期,NetApp分別協助了AstraZeneca以及GumGum這兩家業者,在混合多雲的架構中取得更多的效能與時間節省的效益。

AstraZeneca是一家製藥公司,目前正在偕同研究夥伴研究開發COVID-19疫苗,以遏制疫情在全球傳播。該藥廠運用了4個公有雲來執行工作,包含Amazon Web Services(AWS)、Microsoft Azure、Google Cloud Platform(GCP)以及Alibaba Cloud,然而他們面臨的首要問題是所有的技術與科學家團隊都無法長時間地等待資料從地端到雲端,或是雲端與雲端之間的轉換。其次,他們也需要在10分鐘之內啟用服務。而GumGum則是一家AI公司,可線上分析包含文字、影片、圖檔以及聲音檔,並且提供有用的資訊協助其客戶進行改善。不難想見,GumGum需要非常多的運算資源,每年也支付大筆的金額給雲端服務公司,但運用NetApp的服務,GumGum每年可節省50萬美元之多。

許宏俊提到,許多人對NetApp還存有早期的刻板印象,以為NetApp是一家硬體公司,但其實NetApp是一家軟體定義的解決方案供應商。「確實,在25年前NetApp剛成立的時候,是以NAS解決方案起家,但如今NetApp不只有ONTAP作業系統,還擁有更多的服務、解決方案以及各類的支援。」他繼續說明,包含可應用於虛擬機的儲存空間、檔案分享平台、AI分析應用的FAS系列;利用NAND Flash快閃記憶體提供更高傳輸效率的全快閃儲存陣列;備援架構可應用不同的型號或方案混搭;同時也支援三大公有雲,藉由雲端的彈性與便利,延伸企業資料中心,企業毋須再自建異地資料中心,只需要在公有雲刷卡訂閱NetApp服務,就可以在幾分鐘內架構一個NetApp系統。

簡而言之,NetApp在地端已提供完整解決方案,協助資料保存、應用、運算以及災備的部署,在雲端也有三大公有雲合作夥伴,可建構彈性的多元架構,包含資料挪移、分析、備份等等,此外也專注企業的工作負載,協助企業在虛擬化環境或容器環境下做到自動化部署,快速建置開發環境,以降低工作負擔。

Cloud Manager是NetApp管理雲端解決方案的一個集中式的控制平台,能夠協助企業在混合雲環境中輕鬆管理、監控及自動處理資料,企業只需要在雲端部署Cloud Volumes ONTAP服務,便能在管理介面藉由拖拉的動作輕鬆地進行資料抄寫的排程設定,除了第一次是全部複製抄寫之外,接下來的每一次抄寫都只有異動資料,因此資料的同步就變得非常簡單。AstraZeneca便是藉由這個方法來完成資料的移動。而GumGum所運用的則是Spot by NetApp服務,可針對企業現有環境建議資源最佳配置,從而節省成本。許宏俊指出,有趣的是,Spot雖然是Software as a Service,但是收費機制非常不同,主要是從協助企業節省的成本中抽取28%的百分比,假設企業導入了這項服務,但現有的架構已經最優化了,Spot沒有替企業節省到任何成本,那麼企業並不需要支付任何費用。

海量資料碎片化一機多功消除數據孤島 

第三場則由朔宇科技專案經理丁憲義帶來「數據保護一體化」的議題分享。他提到,即使企業環境已走向混合多雲的架構,資料管理的挑戰卻從未停歇,企業資料可能存放在內部資料中心、營運總部或是各分區辦公室,甚至是雲端。依據不同的需求,會採用不同的服務或設備來加以進駐,然而此舉卻可能造成相同的資料被存放在不同的環境,或是在解決方案都是獨立存在的情況下,使得資料彼此無法溝通。 「這種海量資料碎片化的環境,事實上會阻礙了IT的效率,不僅零碎、低效,也缺乏了可見性。」丁憲義舉例,為了保護資料,企業需要備份軟體來備份資料,而這些資料需要一個Target Storage來加以存放,於是企業採購了一台儲存設備。而這些資料想要上磁帶歸檔,那麼就需要媒體伺服器(Media Server)與磁帶櫃。倘若企業想要分享檔案,那麼相關的檔案或物件儲存又是另一套設備,最後企業打算將資料上雲,又多了一套Cloud Gateway方案。「企業內部的資料可能存放在這些不同的解決方案中,而且是由不同的解決方案供應商來加以供應,可想而知,IT管理將日益困難。」

Cohesity是一家旨在協助企業簡化資料管理的業者,其創立於2013年,創辦人Dr. Mohit Aron曾在Google協助建立分散式檔案系統,也曾任Nutanix共同創辦人,旗下團隊成員來自Nutanix、Google、VMware、EMC、NetApp以及Palo Alto Networks等等,經驗相當豐富,2020年獲Gartner評選進入資料中心備份和還原解決方案(Data Center Backup and Recovery)魔力象限中的領導象限。目前的客群包含各行各業,例如金融、政府、NASA、科技以及流通業等等都已有使用案例。

如同Google是以Web-Scale File System來整合資料,並且提供了統合管理的介面來加以管理,然後提供給應用服務,同樣地,Cohesity也是採用分散式檔案系統架構,稱之為SpanFS。SpanFS主要是用來整合所有形態的資料,由於是橫向擴充的架構,因而可以提供快速的存取,而且只要透過Helios這個單一的管理介面,不管是在本地端、雲端,甚至是邊緣端,所有環境中的節點都能進行統一管理。而且還能支援第三方應用程式,例如檔案稽核或是防毒、防勒索加密等等。

簡單地說,Cohesity除了可以提供更好的備份、還原之外,還能整合檔案與物件服務,也能夠完整地與三大公有雲結合,以有效消除數據孤島的問題。在這其中,資料保護預設是糾刪碼(Erasure Code),另外透過可變動長度的重複資料刪除技術,可有效提升儲存效率,進而節省企業成本。另外,針對網路安全,Cohesity可整合防毒與合規軟體之外,也可以藉由一寫多讀(Write Once Read Many,WORM)來防範勒索病毒。

而在應用程式與環境的生態系統方面也相當豐富,可針對不同的垂直領域需求,提供相對應的支援,包含實體與虛擬環境、各式的資料庫與Apps(如Oracle、SQL Server、Exchange、SAP HAHA、MongoDB、Kubernetes)。針對一線的儲存設備,Cohesity也可以提供快照保護,假設企業已經有備份軟體,也可以搭配各式備份軟體作為Target Storage,提升備份效率。目前,Cohesity有一體機的選項也有Virtual Edition的版本,也可在三大公有雲上建構。而企業也可以依不同需求選擇適合的硬體架構,舉例來說,對效能有高要求的應用可配置全快閃節點,一般通用環境可選擇混合式節點,而針對大容量資料可設計歸檔節點,甚至還能搭配資料分層進行設計,如此一來,企業可以把熱資料放在All Flash節點、冷資料放到混合式節點,最後把歸檔資料放到雲端上也是可以。另外,針對邊緣的環境不需要三個節點組成基本叢集,只需要單一節點即可運行。

因應系統整合四需求善用技術方案打造敏捷架構

上午第四場是由台灣富士通資深技術顧問范力中帶來「重塑未來,打造敏捷資料基礎架構」的思維探討。從系統規劃的角度,范力中認為,一個敏捷的資料基礎架構所涉及的層面並不僅有儲存設備,事實上從傳統的三層式架構到現今的一體機,其實都有著密不可分的關係。回顧過去十年雲端運算的發展,從私有雲、公有雲、混合雲,乃至於不同雲端之間的遷移或是災難備援(DR)機制的建置,已經到了一個非常成熟的階段,但是企業內部的基礎架構如何能更敏捷快速地因應資料需求,也是一個亟需關注的課題。

眾所周知,系統整合能夠帶來許多好處,包含伺服器集中化後,能夠整合處理器、記憶體等資源,甚至運用虛擬化的概念將資料分派給各個不同的伺服器來使用,以便更有效地對資源進行管理,甚至還能減少主機代管或機櫃租用所支付的成本。而隨著伺服器數量的縮減,企業得以更集中化地管理,而且資源的使用也會更有效率。然而,企業內部有許多不同應用服務的系統,對於效能、回應時間以及延遲的要求不一,舉例而言,DB Server需要很大的頻寬與IOPS,同時要很快速地回應,而Batch Server在進行批次處理時,則需要大量的運算資源以及記憶體,同樣也要低延遲。但File Server的需求就必須依情況而定。當整合不同功能的伺服器時,便須解決如何將所有的處理器與記憶體資源加以整合,讓使用率最大化;如何確定硬碟的回應時間,最好可以在6毫秒(ms)內完成;又該如何確保IOPS表現並且確認有額外的硬碟空間可以使用。

他指出,對應這四個需求,目前已有一些技術與方法能夠加以實現,例如使用vSphere分散式資源排程(Distributed Resource Scheduler,DRS)功能,將所有的資源整合成資源池並且自動調配任務,舉例來說,Batch Server需要大量的處理器與記憶,而檔案伺服器沒有需要這麼多資源時,就會優先調配給Batch Server來使用。自動儲存分層(Automated Storage Tiering,AST)技術則能確保硬碟回應時間,AST能對效能與成本進行最佳化,舉例而言,當網頁伺服器(Web Server)需要即時快速地回應時,就會搭配SSD,若對回應時間的要求只是一般,那麼便會提供SSD加上機械式硬碟的混合配置。

IOPS表現則是透過Quality of Service(QoS)來加以確保與實現,例如網頁伺服器不需要高I/O頻寬,但是DB Server則I/O頻寬有高要求,這時便可以根據IOPS、延遲或是MB/s的要求來調整效能。最後是運用虛擬儲存池(Virtual Storage Pool)作法,將所有的儲存空間整合成一個儲存池後,再結合精簡配置(Thin Provisioning),將儲存空間作更有效率地應用,例如企業原本規劃某應用系統可能需要2TB或3TB的空間,但初期只使用到100GB,這時會先提供100GB,但系統會以為擁有全部的空間,藉此來達到儲存空間的最大化利用。

簡而言之,一個敏捷的資料基礎架構需要從伺服器端到儲存端的完整整合,而透過上述幾項功能可優化系統的總體表現,包含VM Ready節點內的處理器以及記憶體資源匯整成一個大的資源池,由DRS功能來自動調配資源;藉由QoS設定來滿足伺服器對效能或MB/s的要求,以及運用自動分層的機制能夠讓資料存放在最適合的位置。

「而且結合QoS與AST還有有更好的表現,」范力中解釋,富士通內部曾進行一個試驗,透過簡單的三層式架構,將4台分別運行桌面虛擬化(VDI)、DB以及檔案的伺服器,透過SAN交換器介接富士通的ETERNUS混合式儲存設備。在還沒有啟用AST與QoS功能時,回應時間最高飆到65ms,而IOPS則落在4500以下,但是把政策進行校正後,將VDI設為最優先等級,而且回應時間為1ms,二台資料庫設為中等,回應時間分別為2ms以及10ms。而檔案伺服器則是低等,回應時間為10ms。同時加入SSD做自動儲存分層,其結果是回應時間從65ms降到了5ms,而IOPS的表現則提升了4倍。

從教堂走向市集資料變革引領演算架構變化

在下午的議程中,第一場邀請到資策會產業情報研究所(MIC)資深產業分析師兼組長施柏榮帶來「從資料中心到以資料為中心-雲端架構演化與資料中心基礎建設發展趨勢」,他提到,除了IT基礎架構與資料處理相關的議題之外,從全球市場發展觀察,仍有些趨勢值得進一步探討,例如雲端運算的下一個結構會是什麼樣貌,而邊緣運算的議題對於未來的IT架構以及資料分析又會產生什麼樣的變化?當企業內部的資料已經從中心化的教堂走向了市集導向,亦即資料將被存放在一個更為散落的環境時,對於儲存架構又會帶來什麼變化?「在這場議程中,會先從雲端與邊緣運算的發展動態探討目前產業有哪一些重要的演化方向,而後再從資料中心的情境,探討演算架構的變化以及可能產生的應用情境類型,最後會帶到四個面向的前瞻議題思考。」

資策會產業情報研究所(MIC)資深產業分析師兼組長施柏榮拋出四個關鍵議題,思考演算架構的變化。

觀察2016年至2020年間,公有雲服務收益隨著物聯網(IoT)、中小企業採用幅度增加等因素,使得收益呈現了快速增長,在這其中,基礎建設即服務(IaaS)收益大約成長了2.5倍,相較於平台即服務(PaaS)、軟體即服務(SaaS)、商業流程即服務(BPaaS)以及廣告等等,其收益成長最為快速。而這也是產業分析師用來判斷雲端運算市場是否會繼續增長的關鍵要素,如果IaaS的成長優於SaaS或PaaS即表示雲端服務還會持續增長,預期在未來的10至15年,企業對於雲端服務的需求依然會持續存在。

而從企業的雲端策略來看,全球企業還是會依循著多雲與混合雲的發展方向,而在台灣地區,多雲與混合雲的運用也相當明顯,一方面是企業希望能夠分散風險,另一方面則是受到供應鏈牽引,供應鏈廠商應用哪種雲環境,企業也必須跟進,換言之,當供應鏈更為複雜,雲端環境也會隨之複雜,而且亟需被解決。

目前雲端服務供應商主要仍以AWS、Azure、GCP為領導廠商,而這三大廠商的雲端基礎建設支出約佔了60%市場,在這其中,AWS領導態勢近年有逐漸放緩的現象,除了Azure、GCP的競爭之外,包括Alibaba、IBM、Oracle等,也成為市場主要競爭者,這也意味著這個市場持續地變動而且有新的態勢出現。「如果仔細留意,相同的服務在雲端服務供應商不同的資料中心的費用是不同的,」施柏榮認為,在未來的5年中將會有一波更新的需求出現,原有的公有雲服務業者為了維持競爭優勢將會帶出一股市場更新的需求,同時因應歐盟的要求,也會有更多屬地或是區域的資料中心出現。

根據全球數據生成與雲端數據流量的表現來看,2020年有34.3%的數據倚靠雲端,但2025年將降至31.1%,顯示未來5年有更多的數據必須在邊緣進行運用與分析,而此也突顯出地方即時性資料分析需求浮現。另一方面,在邊緣運算階層與架構演化上,相較於雲端運算,邊緣運算更提倡的是邊緣之間的運算資源分享與構合。邊緣運算不只是雲端運算的另一種變革,對於IT來說,這也是一個概念改變,因為邊緣運算更強調的是分散式系統的應用與處理情境。

若從巨觀的數據觀察資料中心情境與發展趨勢,雲端資料中心在2021年的資料中心數據流量大約近20ZB,但對於中小企業來說,如何處理龐大的資料量是一大課題,尤其,有許多資料是在資料中心與資料中心之間進行傳輸與應用,根據調查,雲端資料中心內部流量(Within DC)2016年至2021年預計成長2.8倍,顯示資料中心內部資料遷移頻繁;另一種類型為資料中心至資料中心(DC to DC)資料遷移與交換情境,2016年至2021年預計成長4倍,也反映出使用者採用多雲、混合雲的情境更為頻繁,不同雲端服務供應商的資料串接成為發展常態,即使是公有雲的業者也需要在資料中心與資料中心之間進行資料的提取以及應用。「網路將變得更為複雜,除了地端到雲端的垂直型傳輸型態外,平行的傳輸型態將衍生成為一個新興問題。這也是超融合基礎架構會出現的原因之一,而未來也勢必會更依賴軟體定義網路。」施柏榮說。

最後,他也拋出四個關鍵議題,首先雲端服務將持續擴張對資料中心的需求,除了「更新」、「升級」將逐漸浮現外,隨著物聯網、智慧終端設備的持續增加,將有愈來愈多的數據傳輸至雲端伺服器、資料中心,資料中心的維運者必須建置更多「新建」的雲端服務基礎建設。而預計,未來將出現更多專業型態的雲端服務託管廠商。

其次,AWS等供應商將資料中心放置接鄰,這意思是指,雲端服務提供商自2015年之後,積極地在各大洲、區域之間建構新的資料中心,由此也反映出當地對於數位資產的法規限制;希望藉由接鄰的區域資料中心,解決物理性傳輸課題,提供更低延遲率的服務,以及藉專業託管服務模式,降低維運成本需求。而Microsoft在2020年1月份宣布在台灣投資多項計畫,並且宣布欲建立第一個Azure數據中心區域,對於台灣投入相關硬體、軟體的產業來說是明確的機會。

台灣AWS業務發展經理唐詩哲分享如何運用混合雲加速業務推展。

再者,多雲、混合雲未來仍會是企業主要的選項,多數客戶並不會選擇單一的雲端環境,但未來預計有更多的服務需要進行數據融合(Data Fusion)或整合分析,因此,在雲端的環境之上進行數據的交換(Transaction)與傳輸,此種現象也反映在資料中心的內部數據流量的成長。未來資料中心對資料中心的數據交換與傳輸的現象也將更為普遍,此舉也將推動資料中心網路(Data Center Networking)尋求更佳的整體解決方案。另外,多雲、混合雲的情境之下,也將衍生出新型態的託管服務,形成新型態的業種。 另外,邊緣運算驅動分散式連結架構的興起,「分散式運算」與儲存思維將融合、改變既有IT架構,這樣的新興架構型態,也將改變資料中心的規格與功能,包括點對點、端對端的網路傳輸或者數據分散服務(Data Distribution Service,DDS)都將會是資料中心的解決方案;然而,在邊緣運算與分散式架構的情境之中,數據即時備份、同步化等技術課題將會浮現。此外,資料中心適應部分的情境需求,將會持續朝向「微型化」發展,且資料中心內部設計也將朝向超融合的路徑發展。

善用NVMe效能優勢非結構化資料也能智慧管理

接著是由臺灣昆騰(Quantum)區域總監張瑞弘帶來「NVMe讓您的非結構化數據起飛」。非結構化資料每年正在以30%~60%的速度增長,根據IDC全球資料領域預測,2020年全球創建、擷取、複製和使用的資料將超過了59ZB,這些指數性增長的資料可能遍佈在企業各個辦公室甚至是全球,再加上許多資料被要求長期保存甚至是無限期保存,更不用說,在這些資料中可能潛藏著有價值的資料,不管是資料保存、保護或是分析、應用,IT都面臨了許多挑戰。

臺灣昆騰(Quantum)區域總監張瑞弘指出,隨著非結構化資料快速增長,不管是資料保存、保護或是分析、應用,IT都面臨了許多挑戰。

從非結構化資料的生命週期來看,包含一開始的擷取、資料分析與處理,以及最後的歸檔儲存,這中間涉及的解決方案非常多,當編輯人員、分析人員、資料科學家、醫生或是研究人員將資料產生,便需對資料加以分類、調度以及管理,包含加上標籤方便分類,有Index可以索引,最好是可預測資料分布在哪裡,同時運用人工智慧或機器學習讓資料變得有價值,最後獲得資料的可見性與洞察,進而驅動企業變革。過程中,可能運用到一些技術,例如儲存軟體、高速型區塊或檔案系統、智慧型NAS設備、物件儲存或是重複資料刪除等技術,而最終這些資料被存放在一個硬體設備中,可能是由快閃儲存、硬碟、磁帶或是雲端所組合出來的非結構化環境。

張瑞弘指出,NVMe SSD的優勢就在於效能表現,但不可否認的,在價格上也高於硬碟或SSD許多,而有別於常見的iSCSI與Fibre Channel通訊協定,NVMe的網路架構是前端Host會運用RDMA(Remote Direct Memory Access)協定,經乙太網路(100GbE)將資料傳送到後端的NVMe儲存設備中,而且不需要經過處理器來解析封包,因此效能表現可以非常好。而運用這些特性,Quantum也發展出StorNext檔案系統以及ATFS儲存平台,前者目前已發展到StorNext 7版本,適用於高吞吐量、低延遲的工作負載,而後者則可以將資料加以分類,讓企業未來要進行加值服務時,可以更容易找到。

由於NVMe SSD成本較為高昂,加上非結構化資料成長快速,從成本的角度考量,不可能完全將資料存放在NVMe SSD中,因此多半會搭配階層式儲存概念,將熱資料保留在NVMe SSD中,而不常用的資料則存放在物件儲存,而冷資料就往磁帶櫃或雲端空間存放。「改用NVMe SSD搭配100Gb乙太網路的效益非常明顯,美國有一家大型動畫製作公司原本就是採用StorNext檔案系統,不過當時後端串接的儲存設備是以硬碟為主,為了因應伺服器叢集的渲染工作,配置了200多顆的硬碟,而且需要耗時8小時才能將幾十分鐘的8K影片完成,改用NVMe SSD搭配100Gb乙太網路後只需要8分鐘,這便是一個典型的案例。」

另一方面,針對非結構化資料,企業內部也有許多不自然的用戶行為產生在使用者以及IT管理人員身上,包含猜測容量與資料位置、害怕刪除任何東西、需要花費數天來搜索、資料是孤立的、手動地將資料遷移,以及將活躍的資料推到不可見的歸檔層等等,所以企業需要的是具備零接觸資料分類、可智慧化的資料管理、提供即時的搜索與分析、可根據應用程式需求,自動化地放置資料以及能在多雲環境中實現雲端分層的架構。

ATFS儲存平台則能滿足這些需求,除了支援NFS與SMB協定能夠與NAS連接之外,前端也能透過NVMe SSD的部署讓熱資料快速存取,而後端就採用傳統的硬碟,運用糾刪碼技術進行資料保護,如果有更大量的資料需要長期儲存,就可以存放到雲端空間中,而且是依設定好的政策自動地執行。而資料在輸入時,會即時生成標籤,使用者無須任何的改動也不會影響效能表現。另外,也提供了管理功能可即時搜索檔案,而不需要像傳統的方式一層一層地撈取,此外也能依據工作負載,將資料自動化的放在適合存放的地方。

他強調,如果將StorNext檔案系統以及ATFS儲存平台結合,就能夠跨任意類型工作負載,實現端到端的非結構化資料管理。

混合雲須依需建置推Outposts解決企業痛點

最後一場邀請到台灣AWS業務發展經理唐詩哲帶來「超高性價比、資訊夠安全 善用混合雲加速轉型創新」。他提到,雖然混合雲議題相當熱門,但是在與許多企業討論與分享的過程中,還是會先詢問「真的需要混合雲嗎?」原因在於並不是所有的企業環境都需要混合雲,「企業不應該為了混合雲而混合雲,而是真的有其需求才打造這樣的架構,因為有時候導入新科技所付出的時間與成本會比想像中要沉重許多,我們看到許多大型企業因為組織切割或是技術導入先後的關係,可能在地端擁有一套解決方案,但是在雲端又有另一套解決方案,結果光是要讓兩邊相容就花費了許多心力與時間。」

理想的混合雲希望能夠協助企業克服整合、管理與資源共享的挑戰,包含實現維運作業的一致化、有現成技術與工具可用,能夠簡化監控、管理與資安作業,取得高可用性與高SLA,以及研發人員希望寫一次程式兩端都能使用的願景。在某些場景上特別適合將工作負載搬遷上雲,例如瞬間爆發大量需求、異地備份與備援等針對災後的快速復原以及應用程式跨地區複製與搬遷,最後是運用雲端的優勢快速地切入國際市場。唐詩哲舉例,假設某企業在越南、美國、台灣、德國以及韓國都有工廠,為了這五個工廠各寫一套程式並不符合效益,更好的作法是藉由雲端自動跨區域部署,而且只要一次部署就可以搞定五個區域。最後,這樣的模式還可以複製到全球,像是AWS最近協助一家新創公司在日本的資料中心上線App,一部署就有4萬多人使用,而且只要一鍵就可以複製到歐洲與美國,僅花30分鐘之內就可以解決,而且在歐洲及美國不需要IT人員,台灣團隊就可以部署全球IT系統,這便是最好的範例。

「許多人以為混合雲就是在地端擁有一群設備,在雲端也要訂閱許多服務互相串連,其實並不然,在AWS的定義中,混合雲的應用不限大小,舉例來說,智慧門鈴結合攝影機,拍到人臉後自動辨識開門,其就是運用雲端的人臉辨識技術,這也是混合雲的應用之一。」他提到,台灣有保全業把AI判斷的模型送到架設的攝影機內,當晚上有人經過攝影機時,不用將照片傳送上雲,裝置就可以自動做AI推論,由裝置發動告警,提高實體安全;而裝置也可以將資料再傳回雲端繼續訓練,加強AI模型準確度。

針對混合雲的應用,AWS也推出Outposts方案,可以讓雲端延伸到企業內部環境,Outposts裡面的介面以及功能都與AWS公有雲有了完整的整合,基於資安考量,預設不會將資料傳上雲端,但企業也可以把這項功能打開,並且設定三個月後的資料都可以傳送到雲端,去年12月更推出1U與2U的型號選項,就是為了解決企業的痛點,除了可以簡化MIS管理人員的負擔,提高IT效率與回應速度之外,開發者也可就近在內網使用AWS服務、API與工具,有效提高整體產出,另外,也有助於DevOps提升創新與工作效率,而因應法規要求,Outposts也可以做為資料落地的方案,同時獲得雲端服務的好處。

最後,唐詩哲指出,近年來,勒索病毒猖獗,台灣一年因資安威脅造成的經濟損失高達8,100億元,在這個面向上,混合雲也能幫上忙,台灣前三大傳產企業之一便是運用了混合雲順利地還原資料,完全無須支付任何贖金。「這家企業原本是運用混合雲執行AI專案,因為需要非常大的資料量,所以把資料都傳送到AWS,在遭受勒索病毒攻擊後,把電腦斷線,搬一台新的設備,重新下載資料,二個小時內產線重新恢復正常運作。」這個案例也突顯出,避免勒索病毒危害並沒有那麼因難。

銓鍇國際(CKmates)則補充,不只是AI推論,AWS(Amazon Web Service)雲端提供超過175項功能完整的服務,協助企業存取、管控和分析資料,以降低成本和提高靈活性。企業亦可以使用AWS各式各樣的新興服務,諸如機器學習與人工智慧、資料湖與分析和物聯網等技術,加速企業應用創新。

 


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!