Pub/Sub 是 Google 推出的 Message Service ，作為中介層(Middleware) 可讓系統解耦，解耦的兩系統透過 Publish-Subscribe 的模式來 「異步 asynchronous」 收發消息，實現高可靠(highly reliable) 和高可擴展(scalable)的服務。 簡單以 Event-Driven 消息傳遞設計為主體概念的話，對應到其他的雲端服務是 :

• Amazon Web Services (AWS) : SQS + SNS
• Microsoft Azure : Azure Service Bus Messaging

Pub/Sub 也簡化了許多 Message Service Infra 的管理如 Broker、Exchange、Queue 等這些底層架構組件並不會直接被使用者接觸，而是 GCP 完全代管且提供 Pub/Sub service level agreement (SLA)，developer 僅需要瞭解 Message、Topic、Publisher、Subscription、Subscriber 這些接近應用程式端的 Components，算是降低門檻達到快速使用的目的。

Continue reading

在前面幾個章節有介紹了 GCP 常見的 Storage Service ，有提供了各種高可靠且高可擴展存儲服務產品，雲端化直觀的提供了「減輕管理服務基礎架構」的負擔，特別是是硬體角度的管理。從比較 High-Level 角度來討論的話，雲存儲的服務類型分成

• Block Storage : Compute-engine 的 Persistent Disk
• Object Storage : Cloud Storage
• File Storage : Filestore
• SQL : Cloud SQL、Cloud Spanner
• NoSQL : Firestore、Bigtable、Memorystore
• Data Warehouse : Bigquery

在現今的雲端計算時代，儲存和管理大量資料變得更加重要，以上這幾種儲存服務需根據業務來選擇，因為這也會決定到訪問和管理組資料的難易程度，故以下對其做一些廣義的整理和筆記來幫助和選擇適合的儲存服務。

Continue reading

BigQuery 是 Google 提供的一個無伺服器資料倉儲 (Serverless Data Warehouse)，其支持 ANSI SQL 來搜尋資料，所以只要會 SQL 語法就可以立即開始使用，且可高效率分析 TB、PB 等級的資料，故 Bigquery 也是企業級雲端大數據資料分析平台。對應到其他的雲端服務是 :

• Amazon Web Services (AWS) : Athena、Redshift Spectrum、Redshift
• Microsoft Azure : Azure Synapse Analytics

Google 在非常早期的時候，就有類似 BigQuery 其的服務就存在了，是自 2006 年以來一直在內部使用的 Dremel，後來隨著 GCP 雲端平台的產生，並於 2011 年以 BigQuery 為名被正式推出。目前是 GCP 分析資料的主力產品， Google 自家產品如搜尋引擎、 Gmail 等服務背後，其資料處理與分析的核心技術也和 Bigquery 息息相關。

Continue reading

Memorystore 是 GCP 提供的完全託管 In-Memory Database 服務，可以輕鬆地在 GCP 上建立 Redis 和 Memcached 等著名的開源 Caching-Engines，專門提供毫秒級的低延遲資料存取/寫入，並減輕管理 Database 的部署 deployment、Replica、容錯移轉等等維運事項。對應其他的雲端服務是 :

• Amazon Web Services (AWS) : Amazon ElastiCache
• Microsoft Azure : Azure Cache

Memorystore 也是屬於 NoSQL，由於常用於快取情境故也會被稱呼為快取資料庫。目前看起來主流是使用 Redis，故建議在大部份的使用場景上，優先考慮使用 Redis。

Continue reading

Cloud Spanner 是 Google 開發的一個完全託管關係型資料庫，屬於企業級 PaaS 解決方案，具有全球同步、全域事務、強一致性、可擴展、分散式和 Replica/Failover 功能，可保證 99.999% 可用性 SLA，使用者不需要多花心思在底層的基礎建設與管理。對應其他的雲端服務是 :

• Amazon Web Services (AWS) : Amazon Aurora
• Microsoft Azure : Azure SQL Database (SQL Server base)

Cloud Spanner 於 2012 年開始為 Google 內部的重量級產品如 Youtube、Gmail、Google PlayStore 等等提供服務，取代了 Google 的自定義 MySQL 且號稱是盡量滿足 CAP 理論限制。2020Q1 統計每月約 1 億活躍使用者，每天有高達 1800 萬次外送記錄的 Uber，是使用 CLOUD SPANNER 成功案例。

Continue reading

Cloud SQL 是 GCP 提供針對 MySQL、PostgreSQL、SQL Server 推出的完全託管關係型資料庫服務，讓使用者能夠從資料庫的管理任務中解放出來，花更多時間在資料本身而非硬體維護。雲端資料庫只是在雲端上建置、部署和存取的資料庫而已，其底層操作和傳統地端資料庫完全一樣，對應其他的雲端服務是 :

• Amazon Web Services (AWS) : Amazon RDS
• Microsoft Azure : Azure SQL Database for MySQL/PostgreSQL

Cloud SQL 除了可快速啟用資料庫，還可以同時整合讀寫分離、同步、自動備份、監控等等，也讓我們能更安全便捷地整合 GCP 的其它雲端產品例如：「創建 Table 並從 Cloud Storage 導入 .sql 資料」、「使用 Cloud SQL Auth Proxy 連結到 Compute Engine」、「連接到 BigQuery 來使用聯合查詢」等等。

Continue reading