YÊU CẦU VỀ PHẦN CỨNG
Tài nguyên cho Proxmox VE và CEPH:
| Thành phần | Thông tin yêu cầu |
|---|---|
| Số lượng Node | Tối thiểu 3 NODE vật lý để đảm bảo cơ chế biểu quyết (Quorum) và chịu lỗi. |
| CPU | Cùng Series (cùng Family): VD AMD, Intel Gold 61xx, Platinum 82xx |
| RAM |
Mức tối thiểu:
|
| DISK OS Proxmox | Yêu cầu nên sử dụng disk SSD/NVMe Enterprise để đảm bảo hiệu năng, dung lượng disk tùy thuộc vào nhu cầu sử dụng, tối thiểu có thể sử dụng ≥ 100G |
| DISK CEPH OSD | Sử dụng được các disk HDD, SSD, NVME và quy hoạch theo pool |
| Network |
|
Cluster trong Proxmox VE cho phép gom nhiều node (máy chủ vật lý) lại thành một hệ thống quản lý tập trung — bạn quản lý toàn bộ VM/CT của tất cả các node chỉ từ 1 giao diện web duy nhất, thay vì phải đăng nhập riêng lẻ từng máy.
Lợi ích chính khi dùng Cluster:
Trong bài viết này, tôi sẽ hướng dẫn các bạn tạo Proxmox Cluster và Join các Host vào trong CLuster.
Bước 1: Cài đặt OS Proxmox với cùng version cho các node được quy hoạch cho cluster.
Đảm bảo các node được set hostname và IP đúng với quy hoạch, vì sau khi thực hiện tạo cluster thì thông tin hostname và ip các node trong cluster sẽ không thể thay đổi mà phải thực hiện replace lại node.
Khuyến cáo: Tối thiểu 3 node để đảm bảo quorum ổn định (2 node vẫn chạy được nhưng dễ gặp vấn đề split-brain khi 1 node rớt mạng).
Bước 2: Cấu hình network cần thiết cho việc tạo cluster
Tùy thuộc vào mô hình của mỗi doanh nghiệp sẽ có cách cách cấu hình khác nhau:
Ví dụ: Mô hình Proxmox demo cơ bản có thể như này:

Với mô hình hiện tại của tôi chẳng hạn đang sử dụng mô hình network với OpenvSwitch
Cluster network được tạo tách biệt với Management network
Đảm bảo MTU 9000 được set trên các interface cần thiết: Cluster, Migrate, Storage …
→ Đảm bảo các Host Proxmox đã thông nhau
Tôi testing trên lab tạo 1 số vlan như sau:

Bước 3: Tạo cluster
a.Tạo cluster bằng GUI
Truy cập vào trình duyệt vào 1 node với URL https://<IP>:8006
Chọn Datacenter → Cluster → Create Cluster

Nhập tên cluster cần tạo, ở mục Cluster Network chọn chính xác network được quy hoạch. Với version 6→9 hiện hỗ trợ multiple Cluster Network để tăng tính HA, nên có thể tạo thêm 1 Link với network tương ứng để tạo. Độ ưu tiên traffic sẽ dựa vào số Priority.
Tạo thêm Link số 2 nếu có nhu cầu

Chọn xong ấn Create

Hiện như vầy là coi như chúng ta tạo thành công
Ta cần lưu ý copy thêm thông tin ở mục Join cluster để chuẩn bị cho các host khác khi Join vô.

b. Tạo cluster bằng command
Trên node đầu tiên, thực hiện ssh vào node và chạy command
pvecm add IP-ADDRESS-CLUSTER
Bước 4: Add node vào cluster
a. Join node bằng GUI
Lấy Info từ node vừa thực hiện ở Bước 3
Tiến hành Join lần lượt các node còn lại vào cluster.
Ta sang host khác vào mục Datacenter → Cluster → Join cluster
Dán cái mã ta vừa sao chép ở trên vào sẽ hiện ra 1 bảng thông tin, ta tiến điền vào là xong
Điền các thông tin như Cluster network link 0, link 1, password. Sau khi ok hết rồi thì nhấn Join ở góc phải.
Kiểm tra lại xem đã Join thành công chưa chỉ load (F5) web là được

Như bạn thấy host PVE-02 join vào cluster thành công!
b. Join node bằng command
Truy cập ssh vào các node cần join
pvecm add IP-ADDRESS-CLUSTER --link0 LOCAL-IP-LINK0
Trong bài viết này tôi sẽ chỉ cách bạn remove 1 node bất kì trong cluster
Xóa node khỏi cluster là thao tác nhạy cảm, cần làm đúng thứ tự để tránh mất dữ liệu hoặc làm hỏng quorum của cluster. Nguyên tắc chung: dọn sạch mọi thứ node đó đang phục vụ trước khi xóa nó ra — từ VM đang chạy, đến các dịch vụ Ceph (nếu có tham gia Ceph cluster), rồi mới xóa khỏi corosync.
Thực hiện như sau:
Bước 1. Migrate toàn bộ VM trên node cần xóa qua node khác cùng cluster
Thao tác chỉ cần chọn vào VM → Chuột phải → Migrate
Migrate cho đến khi host không còn con VM/CT nào còn chạy trên nó.
Bước 2. Kiểm tra node có chạy các dịch vụ ceph storage , nếu có thì phải thực hiện remove trước các service
Trên host đang dùng storage Ceph bạn phải remove toàn các service OSD, MON, MGR, MDS liên quan tới host này.
VD: host có OSD.3 chạy trên storage của Ceph
Giảm weight osd về 0 trước tiên
ceph osd crush reweight osd.3 <giá trị> (giãm từ từ đến khi về 0 mỗi lần tầm > 0.1. Áp dụng tùy với các loại storage khác nhau )
→ xác nhận rõ là weight của osd đã về 0 và ceph ở trạng thái healthy không có quá trình recovery/rebalance.
ceph osd out osd.3 →
# Dừng service OSD
systemctl stop ceph-osd@3
# Xóa khỏi CRUSH map
ceph osd crush remove osd.3
# Xóa authentication key
ceph auth del osd.3
# Xóa OSD khỏi cluster
ceph osd rm osd.3
Hoặc thực hiện remove qua giao diện cũng được.
Bước 3. Thực hiện remove node khỏi cluster
Đứng trên node còn lại trong cluster thực hiện command
pvecm delnode <node-name>