PVE Ceph 網路計算機
依照 OSD 效能與 VM 負載,估算 Ceph 叢集所需網路頻寬
儲存配置
OSD 效能
顆/節點
負載情境
VM I/O 與副本流量
此工具給的是理論估算值。正式規劃仍要保留交換器與網路的尖峰餘裕,並考慮復原/重平衡時的突發流量。
網路規劃結果
計算完成頻寬摘要
免責聲明
本工具的計算依據是 Jason 的實務經驗與公開文件的整理,不是 Proxmox、Ceph 或任何廠商的官方容量規劃建議。實際環境的硬體、韌體、網路與負載特性差異很大,請以你自己的實測結果與廠商的正式建議為準。
本工具的計算依據是 Jason 的實務經驗與公開文件的整理,不是 Proxmox、Ceph 或任何廠商的官方容量規劃建議。實際環境的硬體、韌體、網路與負載特性差異很大,請以你自己的實測結果與廠商的正式建議為準。
計算公式
corosync 併用的風險
corosync 要的是穩定的低延遲,不是頻寬。跟 Ceph 併在同一組網路上,Ceph 一忙(備份、復原、重平衡)就可能讓 corosync 逾時,節點被踢出叢集、HA 誤觸發。官方建議 corosync 走自己的實體網路,至少也要獨立的第二條備援連結。
規劃提醒
- PVE 官方建議 Ceph 專用網路至少 10 Gbps;要壓榨硬碟效能時建議 25 Gbps 起跳,必要時 40 或 100 Gbps 以上。
- 官方建議把 Proxmox 叢集(corosync)、Public Network 與 Cluster Network 分成三組實體網路。
- 實際需求會受工作負載型態與網路協定影響,這裡算的是理論上限。
- 交換器與網路卡規格應高於計算結果,別讓叢集吃滿整條線。
- 復原與重平衡時的流量遠高於平時,正式環境務必保留尖峰餘裕。
- Public Network(用戶端)與 Cluster Network(副本、復原)分離,兩邊才不會互相排擠。
計算公式與參考值
硬碟循序速度參考值
- SATA SSD:500 MB/s
- SAS SSD:950 MB/s
- NVMe Gen3 x2:1,500 MB/s
- NVMe Gen3 x4:3,500 MB/s
- NVMe Gen4 x4:7,000 MB/s
- NVMe Gen5 x4:14,000 MB/s
負載係數怎麼選
- 輕負載(÷4):文書辦公、檔案伺服器
- 中負載(÷3):一般伺服器應用、虛擬桌面
- 重負載(÷2):資料庫、高 I/O 應用
- 滿載(不折減):效能測試、備份視窗等要跑滿硬碟的情境
計算說明
- 特別聲明:本計算工具之依據為 Jason Cheng 個人經驗,僅供參考
- 計算基準:以單節點配置為基準,假設叢集中每個節點使用相同規格
- 硬碟類型:不同類型 SSD 硬碟的理論最大傳輸速度
- 硬碟數量:每個節點的 OSD 硬碟顆數,非整個叢集總數
- 負載係數:根據實際 VM 使用情況調整計算結果
- 計算公式:聚合吞吐 ÷ 負載係數 = Public 流量;再乘上副本倍數就是 Cluster 流量
- 副本流量:用戶端寫進 1 份,主 OSD 還要再送 R-1 份給其他節點,這段走叢集網路
- 網路架構:Public / Cluster Network 分離時各自估算,共用同一組網路時兩者相加
- 選擇建議:選擇略高於計算結果的交換器規格以確保效能