1. 首頁 > 生活百科 > >

JuiceFS 元數據引擎選型指南( 三 )

生活百科


評估硬件：比如能否連通外網，是使用托管的云服務 ， 還是在自己機房內私有部署 。如果是私有部署，需要評估是否有足夠的硬件資源去部署一些相關的組件 。無論是用哪一種元數據引擎，基本上都要求有高速的 SSD 盤去運行，不然會對其性能有比較大的影響 。
評估運維能力，這是很多人會忽視的，但是在我們來看這應該是最關鍵的因素之一 。對于存儲系統來說，穩定性往往才是其上生產后的第一重點 。用戶在選擇元數據引擎的時候 ， 應該先想想自己對它是不是熟悉，在出現問題時，能否快速定位解決；團隊內是否有足夠的經驗或精力去把控好這個組件 。通常來說 ， 我們會建議用戶在開始時選擇一個自己熟悉的數據庫是比較合適的 。如果運維人員不足 ， 那么選擇 JuiceFS 公有云服務也確實是個省心的選項 。
最后 ， 分享下社區在使用元數據引擎方面的一些統計數據 。

  • 目前為止，Redis 的使用者依然占了一半以上 ， 其次是 TiKV 和 MySQL，這兩類的使用者的數量占比在逐步增長 。
  • 在運行的 Redis 集群的最大文件數大概是在 1.5 億，而且運行情況是比較穩定的 ， 上文提到的推薦的 1 億文件是建議值，并不是說無法超過 1 億 。
  • 整體數量規模 Top3 ， 都是使用的 TiKV 而且都超過了 10 億文件數量 ?，F在最大的文件系統的文件數量是超了 70 億文件，總容量超過了 15 PiB，這也從側面證明了 TiKV 在作為元數據引擎時的擴展能力 。我們自己內部測過使用 TiKV 作為元數據引擎存儲 100 億文件，系統仍能穩定地運行 。所以如果你的整個集群預期的規模會非常大，那么TiKV 確實是一個很好的選擇 。
04- 元數引擎遷移文章的最后，為大家介紹元數據引擎遷移 。隨著用戶業務的發展，企業對元數據引擎的需求會發生變化，當用戶發現現有的元數據引擎不合適了，可以考慮將元數據遷移到另一個引擎中 。我們為用戶提供了完整的遷移方法 ， 具體可以參考這個文檔 。
這個遷移方法有一定的限制，首先只能遷移到空數據庫，暫時無法將兩個文件系統直接合在一起；其次，需要停寫，因為數據量會比較大的情況下，很難在線將元數據完整的遷移過來 。要做到這點需要加許多限制 ， 從實測來看速度會非常慢 。因此，把整個文件系統停掉再去做遷移是最穩妥的 。如果說實在需要有一定的服務提供 ， 可以保留只讀掛載，用戶讀數據并不會影響整個元數據引擎遷移的動作 。
雖然社區提供了全套的遷移方法，但是還是需要提醒用戶，盡量提前對數據量的增長做好規劃，盡量不做遷移或盡早遷移 。當要遷移的數據規模很大時 ， 耗時也會變長，期間出問題的概率也會變大 。
如有幫助的話歡迎關注我們項目 Juicedata/JuiceFS 喲！ (0?0?)

推薦閱讀