1. 首頁 > 生活百科 > >

挑戰海量數據：基于Apache DolphinScheduler對千億級數據應用實踐( 三 )

生活百科


set spark.sql.adaptive.enabled=true;set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=256000000;參數優化
CK的優化參數非常多，除了基礎的參數外，在二級索引調整為布隆過濾器后，寫入CK的parts就比原來多了，在這個時候調整CK的parts參數 ， 使其可以正常運行，但是這個參數會稍微影響一下CK查詢的性能，對于我們來說 ， 數據都放不進去，再查詢也就沒有用了 。
parts_to_delay_insert：200000此外還可以添加background_pool_size參數（我們沒有用） 。
Zookeeper優化
對于ClickHouse多分片多副本集群模式來說，Zookeeper是最大的性能瓶頸點 。
在不改動源碼的情況下，我們做了如下的優化：

  1. 推薦閱讀