ref: https://medium.com/swlh/quick-fix-sharing-persistent-disks-on-multiple-nodes-in-kubernetes-ef5541fd8376
這篇文章是 kubernetes 與 Storage 整合的經驗分享文,該文章包括了下列內容
Cloud Storage, NFS, Kubernetes, PV/PVC.
Kubernetes 內針對這些儲存相關的使用方式有
1. 使用 ephemeral 的儲存設備
ephemeral 只適合暫存資料使用,因為該儲存設備不是持久保存的,這意味 Container 如果重啟,資料就會消失。
2. 使用 Bind Mount 的方式將資料從節點掛載到容器中
就如同過往使用 Docker 時會使用 -v 的方式將同節點中的儲存目錄給掛載到容器中來使用。
基本上有任何永久性儲存的需求都會採用(2) 這個方式來處理,而目前很多 Cloud Provider 都有提供相關的儲存裝置讓你的 VM(k8s Node)
可以輕鬆存取與使用。
舉例來說,AWS 有 EBS, GCP 有 GPD,這類型的 Block Storage Device 本身支援動態掛載與卸載,所以就算 Kubernetes 將目標 Container 重新部署到
不同節點上也不需要擔心資料會不同,因為這些 Storage 可以隨者不同節點動態掛載上去,讓你的 Container 看到相同的資料。
但是以上兩個裝置都有一個限制,就是並不支援同時多人寫入的動作,於 Kubernetes 只能使用 Read/Write 模式。
這意味每個 Storage 同時只能有一個 Container 去進行讀寫操作(but Azure 的服務就沒有這個限制)
作者假設今天有一個服務底層是由三個元件組成,這些元件會需要針對相同一個資料集一起處理。
舉例來說有服務 A,B,C
A: 將資料寫入到儲存系統中
B: 從儲存系統中讀入資料進行二次處理,處理完畢再寫回去儲存系統中
C: 將資料從儲存系統中讀出並且供外部使用
上述情境簡單說就是一個儲存設備,會有三個服務同時想要讀取,一個專心寫,一個同時讀寫,一個專心讀。
這種需求就沒有辦法單純使用 EBS/GPD等裝置來使用,因此作者接下來就會針對如何使用 NFS 這套網路儲存系統來搭建一個符合上述需求的用法。
該解決方案流程如下
1) 透過 EBS/GPD 的方式掛載一個儲存空間到 k8s 節點中
2) 部署一個 NFS Server 的容器到 Kubernetes 中,該 NFS Server 會使用 EBS/GPD 作為其儲存空間的來源
3) NFS Server 透過 service 分享服務
4) 部署 PV/PVC 物件到 Kubernetes 中
5) A,B,C 三種容器透過 PVC 的方式來存取 NFS Server
因為 NFS 本身就是一個可多重讀寫的解決方案,作者透過這種方式讓多個應用程式可以同時讀寫,同時將這些資料保存到 EBS/GPD 的儲存空間中。
不過這種用法帶來的問題可能就是速度問題,從同節點直接存取變成透過網路存取,所以如果本身對於存取有非常高的頻寬需求時,使用這種解決方案也許會遇到
很難解決的瓶頸,畢竟大部分人的 k8s 叢集都是 data/control 兩種資料交雜於底層的網路架構中,沒有辦法將 data plane/control plane 給分開來。
有興趣看作者如何一步一步搞定上述流程的可以參考全文
「azure storage」的推薦目錄:
- 關於azure storage 在 矽谷牛的耕田筆記 Facebook 的最佳貼文
- 關於azure storage 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳解答
- 關於azure storage 在 時尚科技客 Facebook 的最讚貼文
- 關於azure storage 在 Microsoft Azure Storage Client Library for Node.js and ... 的評價
- 關於azure storage 在 Microsoft Azure Storage Libraries for .NET - GitHub 的評價
- 關於azure storage 在 Microsoft Azure Storage Overview | Edureka - YouTube 的評價
- 關於azure storage 在 Azure Blob Storage Example - YouTube 的評價
- 關於azure storage 在 What is the difference between the Microsoft.Azure.Storage ... 的評價
azure storage 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳解答
打造智慧數據湖,Google Cloud 今天推出三項新服務讓資料在雲更聰明
2021/05/27 INSIDE 硬塞的網路趨勢觀察
Google Cloud 在今天舉辦的 Google Data Cloud Summit 上,發布三項全新解決方案:Dataplex、Datastream 和 Analytics Hub Beta 版,將涵蓋旗下的資料庫和資料分析產品組合,為企業提供一個整合式資料平台,協助企業打破資料孤島。
評論
Google Cloud 在今天舉辦的 Google Data Cloud Summit 上,發布三項全新解決方案:Dataplex、Datastream 和 Analytics Hub Beta 版,將涵蓋旗下的資料庫和資料分析產品組合,為企業提供一個整合式資料平台,協助企業打破資料孤島,安全地預測業務成果並賦予使用者能力,在現今不斷變化的數位環境中即時制定明智的決策。
「Gartner 近期的問卷調查結果顯示,企業預估每年在品質不甚理想的資料上平均花費 $1,280 萬美元。」 因為資料散布在多個雲端和地端部署環境中的資料庫、資料湖泊、資料倉儲和資料市集內,企業除了要設法集中控管及管理應用程式,更需要即時整合資料來改善決策,加快創新腳步及提升客戶體驗。
Google Cloud 資料庫、資料分析及 Looker 商業智慧平台總經理暨副總裁 Gerrit Kazmaier 說明,企業須把資料視為具備將所有相關業務面向整合為一的能力。如今所有產業紛紛轉換為以數位化為主的業務型態,因為他們明白資料不但是創造價值的要素,同時也是推動數位轉型的關鍵。
透過運用 Google Cloud 的資料平台,客戶現在將能採用全方位且涵蓋完整資料生命週期的資料雲端方案,從業務執行系統到可進行未來預測和自動化作業的 AI 與機器學習工具等均包含在內。
Datastream-為客戶提供即時資料複製功能:目前提供 Beta 版體驗的 Datastream 提供全新的無伺服器異動資料擷取 (CDC) 和複製服務,讓客戶可以從 Oracle 和 MySQL 資料庫將資料串流即時擷取至 Google Cloud 服務,例如 BigQuery、可於 PostgreSQL 上執行的 Cloud SQL、Google Cloud Storage 和 Cloud Spanner。
企業可運用這項解決方案強化即時性數據分析功能、資料庫的複製速度以及事件驅動架構等。率先採用此方案的客戶 Schnuck Markets, Inc.運用 Datastream 簡化了架構,而將 Oracle 資料複製到 BigQuery 和 Cloud SQL 也不再會延遲數小時之久。
Analytics Hub-提高資料共用安全與易用性:Analytics Hub 可為企業創造安全且即時的資料交換服務,借助 Analytics Hub,企業可以在不論組織的內外部,安全地共享數據和洞察,包括動態儀表板和機器學習模型。
Analytics Hub 協助企業整合其數據資產,如將 Google 獨有數據、產業數據和公開數據整合一起。Analytics Hub 建立於 BigQuery 現行且普及的共享功能基礎上,目前已經使數千家企業透過數據分析進行革新,並透過不僅是單純共享數據的方法,來加快洞察的取得。
Dataplex-協助企業簡化資料管理作業:目前提供 Beta 版體驗的 Dataplex 是一種智慧資料網路架構,可提供單一整合式的分析體驗,能將 Google Cloud 和開放原始碼結合在一起,使企業能夠快速整理、保護、整合及分析其數據。
自動化的資料品質可讓數據資料學家和分析師利用自選工具確保資料的一致性,不須移動或複製資料即可統整並管理資料。Google 提供傑出的 AI 和機器學習功能,讓企業能夠利用內建的智慧資料來縮短處理繁複基礎架構的時間,並將更多心力轉而投入於發掘資料價值,以帶來更多業務成果。身為 Dataplex 早期客戶,Equifax 與 Google 合作致力將 Dataplex 納入自己的核心分析平台,不但簡化了工作負載,還建立了所有內部分析資料都適用的單一指令控管及管理平台。
在資料雲端高峰會舉辦期間,Google Cloud 也發表了資料庫和數據分析產品組合方面的其他最新消息:
基於對多雲端的策略性承諾,Google 陸續推出分別適用於 Microsoft Azure 的 BigQuery Omni Beta 版和 Looker 商業智慧平台正式版,藉此協助客戶取得跨雲端環境的關鍵資料深入分析結果。繼去年發表適用於 AWS 的 BigQuery Omni 後,這次發表的最新消息更延續了市場對此技術的展望。
BigQuery ML 異常偵測 可協助客戶透過使用 BigQuery 的內建機器學習功能,以更輕鬆的方式檢測異常資料模式。目前許多客戶將這項技術運用於多種用途,包括銀行詐欺偵測和生產製造不良原因分析。
Dataflow 為客戶提供了具備成本效益的快速串流分析解決方案。而預計於第三季推出的 Dataflow Prime 將提供業界領先的自動垂直擴充和數據管道正確配置技術,為客戶最大幅度地降低整體擁有成本。此外,Dataflow Prime 更內建了 AI 和機器學習技術,可以為客戶提供串流預測功能,例如時間序列分析、可主動識別瓶頸的智慧診斷功能,以及可提高使用率的自動微調功能。
Google 也將全代管關聯資料庫 Cloud Spanner 的入門價格降低 90%,連同即將推出的精細個體規模調整功能 (granular instance sizing) ,將同樣提供無限制的空間規模與99.999%的可用性,用以支援要求最苛刻的應用程式運作。BigQuery 與 Spanner 的整合功能也即將推出,可讓使用者透過 BigQuery 查詢 Spanner 中的交易資料,以便提供更豐富且即時的深入分析結果。而 Spanner 新增的 Key Visualizer 功能(目前為 Beta 版本),可提供互動式監控功能,方便開發人員迅速識別使用模式。此外,Cloud Bigtable 更具備可達 99.999%(5 9s) SLA 的讀取和寫入可用性。
資料來源:https://www.inside.com.tw/article/23648-google-data-cloud-summit
azure storage 在 時尚科技客 Facebook 的最讚貼文
Pure Storage 宣布 Pure Cloud Block Store 服務即日起在 Microsoft Azure Marketplace 正式上線。
azure storage 在 Microsoft Azure Storage Libraries for .NET - GitHub 的推薦與評價
Microsoft Azure Storage SDK for .NET (Deprecated). If you would like to access our latest .NET SDK, please refer to the Storage SDK v12 for . ... <看更多>
azure storage 在 Microsoft Azure Storage Client Library for Node.js and ... 的推薦與評價
Constructors - For example, var tableSvc = azure.createTableService(accountName, accountKey);. Blob Storage. The createContainerIfNotExists method can be used ... ... <看更多>