云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐


云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖
【云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐】優化一個分布式系統的吞吐能力,除了應用本身代碼外,很大程度上是在優化它所依賴的中間件集群處理能力 。如:kafka/redis/rabbitmq/postgresql/分布式存儲(CephFS,JuiceFS,C urve,Longhorn)等集群的處理能力 。
分布式存儲集群(Longhorn)這里主要用于 Citus 集群的協調器(coordinator)工作器(worker) 節點的數據持久化 。
具體文檔,請參閱:
  • https://longhorn.io/

云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖

云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖
分布式 PostgreSQL 集群(Citus)這里主要用于對 Sentry 事件源數據大表 nodestore_node 的分片 。
具體文檔 , 請參閱:
  • https://docs.citusdata.com/en/v11.1/

云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖
讀寫分離和高可用(PgPool+Repmgr)這里主要用于對 Citus 節點(協調器/工作器)進行讀寫分離和主備高可用 。
具體文檔 , 請參閱:
  • https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html
  • https://repmgr.org/

云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖

云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖
管理集群節點(PgAdmin)具體文檔 , 請參閱:
  • https://www.pgadmin.org/

云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖
nodestore_node 大表分片選擇分布式 key,并將表轉換分布式表 , 這里將表劃分為 64 個分片,數據平均分配到 6worker 節點:
# 創建分布式表SELECT create_distributed_table('nodestore_node', 'id', colocate_with => 'none', shard_count => 64);# 平衡分片SELECT rebalance_table_shards();# 查詢分片SELECT * FROM citus_shards;
云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐

文章插圖
總結中間件集群基礎設施建設,本身涉及細節較多 , 可以說是另一個領域 。
本文提供了一種筆者的實踐思路,拋磚引玉 。

    推薦閱讀