Tạo, thêm và gỡ Node Cluster

YÊU CẦU VỀ PHẦN CỨNG 

Tài nguyên cho Proxmox VE và CEPH:

Thành phần Thông tin yêu cầu
Số lượng Node Tối thiểu 3 NODE vật lý để đảm bảo cơ chế biểu quyết (Quorum) và chịu lỗi.
CPU Cùng Series (cùng Family): VD AMD, Intel Gold 61xx, Platinum 82xx
RAM

Mức tối thiểu:

  • Proxmox OS: 2GB
  • MON: 1-2GB
  • MGR: 1-2GB
  • MDS: 1GB
  • OSD (Ổ cứng vật lý): Tính theo công thức tối thiểu 1 GB RAM cho mỗi 1 TB dung lượng đĩa (Đối với SSD/NVMe khuyến nghị 2 - 4 GB RAM cho mỗi OSD để đạt hiệu năng tốt nhất).
DISK OS Proxmox Yêu cầu nên sử dụng disk SSD/NVMe Enterprise để đảm bảo hiệu năng, dung lượng disk tùy thuộc vào nhu cầu sử dụng, tối thiểu có thể sử dụng ≥ 100G
DISK CEPH OSD Sử dụng được các disk HDD, SSD, NVME và quy hoạch theo pool
Network
  • Card  Network 1G cho tác vụ Management, Corosync
  • Card Network tối thiểu 10G cho các tác vụ nặng như Ceph, Replication, Migrate, Backup/Restore VM Traffic

Cluster trong Proxmox VE cho phép gom nhiều node (máy chủ vật lý) lại thành một hệ thống quản lý tập trung — bạn quản lý toàn bộ VM/CT của tất cả các node chỉ từ 1 giao diện web duy nhất, thay vì phải đăng nhập riêng lẻ từng máy.

Lợi ích chính khi dùng Cluster:

  • Quản lý tập trung: xem, cấu hình, migrate VM giữa các node ngay trên 1 giao diện.
  • Live Migration: di chuyển VM đang chạy từ node này sang node khác mà không cần tắt máy (yêu cầu shared storage hoặc dùng local với replication).
  • High Availability (HA): nếu 1 node chết, VM có thể tự động khởi động lại trên node còn sống (cần thêm cấu hình HA riêng, dựa trên nền tảng cluster này).
  • Đồng bộ cấu hình: user, permission, storage, firewall rule... đồng bộ tự động giữa các node qua pmxcfs (Proxmox Cluster File System).

Trong bài viết này, tôi sẽ hướng dẫn các bạn tạo Proxmox Cluster và Join các Host vào trong CLuster.

Bước 1: Cài đặt OS Proxmox với cùng version cho các node được quy hoạch cho cluster.

Đảm bảo các node được set hostname và IP đúng với quy hoạch, vì sau khi thực hiện tạo cluster thì thông tin hostname và ip các node trong cluster sẽ không thể thay đổi mà phải thực hiện replace lại node.
Khuyến cáo: Tối thiểu 3 node để đảm bảo quorum ổn định (2 node vẫn chạy được nhưng dễ gặp vấn đề split-brain khi 1 node rớt mạng).

Bước 2: Cấu hình network cần thiết cho việc tạo cluster

Tùy thuộc vào mô hình của mỗi doanh nghiệp sẽ có cách cách cấu hình khác nhau:

Ví dụ: Mô hình Proxmox demo cơ bản có thể như này:



Với mô hình hiện tại của tôi chẳng hạn đang sử dụng mô hình network với OpenvSwitch
Cluster network được tạo tách biệt với Management network
Đảm bảo MTU 9000 được set trên các interface cần thiết: Cluster, Migrate, Storage …
→ Đảm bảo các Host Proxmox đã thông nhau 

Tôi testing trên lab tạo 1 số vlan như sau:
 



Bước 3: Tạo cluster

a.Tạo cluster bằng GUI

 Truy cập vào trình duyệt vào 1 node với URL https://<IP>:8006

Chọn Datacenter → Cluster → Create Cluster



Nhập tên cluster cần tạo, ở mục Cluster Network chọn chính xác network được quy hoạch. Với version 6→9 hiện hỗ trợ multiple Cluster Network để tăng tính HA, nên có thể tạo thêm 1 Link với network tương ứng để tạo. Độ ưu tiên traffic sẽ dựa vào số Priority.


Tạo thêm Link số 2 nếu có nhu cầu


 

Chọn xong ấn Create


Hiện như vầy là coi như chúng ta tạo thành công

Ta cần lưu ý copy thêm thông tin ở mục Join cluster để chuẩn bị cho các host khác khi Join vô.



b. Tạo cluster bằng command

Trên node đầu tiên, thực hiện ssh vào node và chạy command

pvecm add IP-ADDRESS-CLUSTER

Bước 4: Add node vào cluster

a. Join node bằng GUI

Lấy Info từ node vừa thực hiện ở Bước 3

Tiến hành Join lần lượt các node còn lại vào cluster.
Ta sang host khác vào mục Datacenter → Cluster → Join cluster

Dán cái mã ta vừa sao chép ở trên vào sẽ hiện ra 1 bảng thông tin, ta tiến điền vào là xong
 

Điền các thông tin như Cluster network link 0, link 1, password. Sau khi ok hết rồi thì nhấn Join ở góc phải. 

Kiểm tra lại xem đã Join thành công chưa chỉ load (F5) web là được



Như bạn thấy host PVE-02 join vào cluster thành công!

b. Join node bằng command

Truy cập ssh vào các node cần join

pvecm add IP-ADDRESS-CLUSTER --link0 LOCAL-IP-LINK0


 

 

 

 

Trong bài viết này tôi sẽ chỉ cách bạn remove 1 node bất kì trong cluster
Xóa node khỏi cluster là thao tác nhạy cảm, cần làm đúng thứ tự để tránh mất dữ liệu hoặc làm hỏng quorum của cluster. Nguyên tắc chung: dọn sạch mọi thứ node đó đang phục vụ trước khi xóa nó ra — từ VM đang chạy, đến các dịch vụ Ceph (nếu có tham gia Ceph cluster), rồi mới xóa khỏi corosync.

Thực hiện như sau:

Bước 1. Migrate toàn bộ VM trên node cần xóa qua node khác cùng cluster
Thao tác chỉ cần chọn vào VM → Chuột phải → Migrate

Migrate cho đến khi host không còn con VM/CT nào còn chạy trên nó.
 
Bước 2. Kiểm tra node có chạy các dịch vụ ceph storage , nếu có thì phải thực hiện remove trước các service

  • Remove OSD
  • Remove MON
  • Remove MGR
  • Remove MDS

Trên host đang dùng storage Ceph bạn phải remove toàn các service OSD, MON, MGR, MDS liên quan tới host này.

VD: host có OSD.3 chạy trên storage của Ceph

Giảm weight osd về 0 trước tiên
ceph osd crush reweight osd.3 <giá trị> (giãm từ từ đến khi về 0 mỗi lần tầm > 0.1. Áp dụng tùy với các loại storage khác nhau )
→ xác nhận rõ là weight của osd đã về 0 và ceph ở trạng thái healthy không có quá trình recovery/rebalance.

ceph osd out osd.3 → 

# Dừng service OSD
systemctl stop ceph-osd@3

# Xóa khỏi CRUSH map
ceph osd crush remove osd.3

# Xóa authentication key
ceph auth del osd.3

# Xóa OSD khỏi cluster
ceph osd rm osd.3

Hoặc thực hiện remove qua giao diện cũng được. 

Bước 3. Thực hiện remove node khỏi cluster

Đứng trên node còn lại trong cluster thực hiện command

pvecm delnode <node-name>