TÍNH NĂNG HIGH AVAILABILITY (HA) TRÊN PROXMOX VE
1. Giới thiệu
1.1. Khái niệm
High Availability (HA) là tính năng tự động giám sát và cứu hộ máy ảo trong cụm Cluster. Khi một máy chủ vật lý (Node) gặp sự cố đột ngột (mất điện, hỏng phần cứng, sập mạng), hệ thống Proxmox HA sẽ tự động phát hiện và chuyển các máy ảo đang chạy trên Node chết đó sang các Node còn sống để khởi động lại.
Điều kiện để dùng được HA
2. Cấu hình HA
2.1. Cấu hình đưa VM vào trong HA
Ta vào Datacenter → HA → Resources → Add

Khi ấn add xong sẽ hiện ra tab để cho ta cấu hình:

Các thông số gồm:
Tôi sẽ thêm như sau chẳng hạn:

Tôi add 1 vài trên cụm cluster vào đây chằng hạn

Có thể nhóm nhiều VM cùng nhóm ưu tiên node qua Affinity Rules (thay cho HA Groups ở bản cũ 8.x — ở 9.x, cơ chế group cũ được migrate tự động sang Affinity Rules khi upgrade).
2.2. HA Node Affinity Rules (Quy tắc liên kết giữa Máy ảo và Node vật lý)
Mục này dùng để cấu hình mối quan hệ giữa Máy ảo (HA Resources) và Mạch phần cứng (Nodes vật lý). Ta dùng luật này khi muốn chỉ định một nhóm máy ảo chỉ được phép chạy hoặc ưu tiên chạy trên một số server cố định.
State (Trạng thái liên kết): Có 2 trạng thái chính:
Strict (Luật cứng / Luật mềm):
Cấu hình như sau:
Vào Datacenter → HA → Affinity Rules → HA Node Affinity Rules → Add
VD: Tôi cấu hình như sau:
Điều này có nghĩa:
Strict: Bỏ tích, các máy ảo được chọn sẽ ưu tiên chạy trên 3 node PROX5, PROX6, PROX7. Nếu cả 3 node này đồng loạt sập, cụm HA vẫn được phép mang máy ảo đi cứu hộ ở các node khác bên ngoài (nếu cụm còn node khác).
Nếu tôi Tích chọn (Strict): Luật cứng. Máy ảo chỉ được phép sống hoặc chết trên đúng 3 node này, tuyệt đối không di trú đi đâu khác.
Tạo xong ấn add là xong

2.3. HA Resource Affinity Rules (Quy tắc liên kết giữa Máy ảo với Máy ảo)
Mục này dùng để cấu hình mối quan hệ giữa các máy ảo với nhau mà không quan tâm chúng nằm trên Node vật lý nào. Đây là tính năng sống còn để thiết kế hạ tầng chịu lỗi cao.
Affinity (Chạy chung nhóm): Gộp các máy ảo có mối liên hệ mật thiết phải nằm chung một Node vật lý để tối ưu hóa tốc độ giao tiếp nội bộ qua RAM/băng thông giữa chúng (giảm độ trễ mạng).
Anti-Affinity (Bắt buộc chia tách - Dùng nhiều nhất):
Cấu hình như sau:
Vào Datacenter → HA → Affinity Rules → HA Resource Affinity Rules → Add

Sau khi ấn Add sẽ hiện ra 1 tab như sau:



Chú ý mục Afffinity:
1. Keep Together (Gom lại ở chung)
Bản chất kỹ thuật: Ép cụm HA bằng mọi giá phải giữ cho các máy ảo trong danh sách luôn luôn chạy chung trên cùng một Node vật lý (ví dụ cùng nằm ở PROX5). Khi có sự cố cần migrate, cụm HA cũng sẽ bốc cả cụm này đi cùng nhau sang một Node khác chứ không xé lẻ ra.
Kịch bản thực tế áp dụng: Dùng cho các cặp máy ảo phụ thuộc chặt chẽ vào nhau về mặt dữ liệu và băng thông mạng.
Ví dụ: Con VM 117 và VM 118 tôi sẽ như trên
Thì cả con này sẽ luôn luôn ở chung 1 node vật lý không thể nào ở riêng được. Trường hợp này ít dùng hơn.
2. Keep Separate (Bắt buộc chia tách / Cách ly)
Bản chất kỹ thuật: Ép cụm HA tuyệt đối không được phép cho các máy ảo này nằm chung một Node vật lý. Hệ thống sẽ tự động phân bổ: ví dụ con 117 sang PROX5 thì con 118 phải sang PROX6 hoặc PROX7.
Ta lại cấu hình như sau:

2.4. TÍNH NĂNG CRS SETTINGS (CLUSTER RESOURCE SCHEDULER) (Chỉ có trên Proxmox version mới 9.x)
Cluster Resource Scheduler (CRS) là bộ điều phối tài nguyên động cho cụm Cluster. Thay vì việc HA Manager chỉ bốc máy ảo sang Node khác một cách ngẫu nhiên hoặc chỉ dựa vào điểm Priority tĩnh khi có sự cố, CRS sẽ liên tục giám sát hiệu năng thực tế của toàn cụm để đưa ra quyết định migrate tối ưu nhất.
Ta nhấn để cấu hình:

Scheduling Mode
Chọn thuật toán CRS dùng để chọn node khi 1 HA resource cần start/di chuyển:
Default (basic): Chế độ mặc định lâu đời của Proxmox. Thằng này thực chất chưa dùng đến thuật toán CRS nâng cao.
Basic (Resource Count): Đếm đầu việc (Số lượng VM/Container) để chia bài.
Static Load (Tải tĩnh theo cấu hình): Tính toán dựa trên tổng phần cứng được cấp phát trên lý thuyết.
Dynamic Load (Tải động thực tế - Khuyên dùng): Đây mới là mode ngon nhất của CRS (Cân bằng tải thời gian thực - Real-time).
Cách tính: CRS sẽ liên tục đọc số liệu giám sát (Metrics) từ hệ thống. Nó nhìn vào mức độ ngốn CPU thực tế (%) và dung lượng RAM thực tế (GB) mà các máy ảo đang thực sự chiếm dụng trên phần cứng ngay tại thời điểm đó để ra quyết định.
Ưu điểm: Khắc phục hoàn toàn điểm yếu của 3 mode trên. Giả sử PROX5 của tôi dù chỉ chạy ít VM nhưng RAM thực tế đã vọt lên 86%, CRS Dynamic Load sẽ biết ngay Node này đang "thở oxy" và tuyệt đối không nhét thêm VM nào vào đây nữa, thay vào đó nó sẽ chọn PROX7 (đang trống trải CPU 0.1%, RAM 18.8%).
Lưu ý: Khi chọn mode này, ta nên cân nhắc bật tính năng Automatic Rebalance ở bên dưới để hệ thống tự động Live Migrate dọn tải cho nhau khi có Node bị thắt nút cổ chai.
Ta nên tick chọn vào options Dynamic Load để đạt hiệu quả cao nhất

Rebalance on Start (Cân bằng lại khi khởi động):
Automatic Rebalance (Tự động tái cân bằng động): khi tôi tích chọn ô này, Proxmox sẽ mở khóa toàn bộ các thông số nâng cao bị mờ ở phía dưới. Đây là tính năng tự động hóa hoàn toàn:
Imbalance Threshold (%) - Ngưỡng mất cân bằng (Mặc định 30%):
Rebalancing Method - Phương thức tính toán (Mặc định bruteforce):
Hold Duration - Thời gian neo giữ (Mặc định 3 phút):
Minimum Imbalance Improvement (%) - Mức cải thiện tối thiểu (Mặc định 10%):
Tôi cấu hình như sau để tối ưu cho cluster của mình:


3. Disarm HA (Disable HA)
Ngày xưa muốn bảo trì hệ thống lớn là chúng ta phải mò vào từng con VM tắt HA, hoặc gõ lệnh SSH trên host proxmox để stop dịch vụ pve-ha-lrm, pve-ha-crm thì bây giờ Proxmox cho chúng ta bấm một phát ăn ngay trên Web UI.
Khi ta cái nút Disarm HA này ra, nó có 2 chế độ đóng ngắt cực kỳ quan trọng:
1. Freeze (Đóng băng toàn cụm HA)
Đây là chế độ dùng nhiều nhất và an toàn nhất khi bảo trì hạ tầng lớn.
Tại sao phải dùng? Bình thường lỡ Switch mạng bị ngắt vài giây để up firmware, cụm HA sẽ tưởng các Node bị chết và lập tức kích hoạt lỗi Fencing (tự quật sập Server vật lý để cứu data), gây thảm họa cho hệ thống. Khi ông chọn Freeze, ông có tắt Switch hay rút dây mạng thoải mái, cụm HA vẫn đứng im thin thít chờ ông bảo trì xong.
2. Ignore (Bỏ qua giám sát lỗi)
Tôi cần bảo trì chỉ việc ấn vào Freeze là được.

Chọn yes.
Trong bài viết này tôi sẽ demo cơ bản cho bạn đọc về việc HA hoạt động như thế nào khi cluster bị sự cố.
Lưu ý: trong quá trình vận hành lỗi gặp có thể khác nhau, các bạn nên tìm hiểu kĩ lỗi (lên các diễn đàn, nhờ hãng hỗ trợ nếu là bản license) rồi mới đưa phương án giải quyết.
1. Vấn đề
Khi một node trong Cluster Proxmox đột ngột mất kết nối (lỗi phần cứng, sập nguồn, mất mạng), HA sẽ không lập tức bê máy ảo sang node khác ngay giây đầu tiên, mà nó vận hành theo một quy trình cực kỳ nghiêm ngặt qua 3 trạng thái chính:
1. Đồng thuận số đông (Quorum)
2. Phát hiện lỗi và Đếm thời gian (Fencing & Timeout)
3. Migrate và Restart (Failover)
2. Kịch bản testing HA
Điều kiện cần:
Tôi chuẩn cụm 1 lab có 3 node như hình bên dưới:

Tạo 2 con VM windows trên Prox7, lát nữa tôi sẽ giả lập tình huống nếu như Prox7 bị down thì VM sẽ tự động khởi động trên 2 node còn lại.
Trước tiên kiểm tra sơ qua các điều kiện:
1. Hiện cụm đã có 3 host, trạng thái quorum ok
2. Storage sử dụng của VM là Ceph là shard storage thõa điều kiện



Đảm bảo Ceph ở trạng thái ổn nhất
Đảm bảo số lượng MON luôn là số lẻ, và nhiều (TH này 3 node thì 3 MON là hợp lí → luôn bầu chọn được)

3. Add VM vào HA
Ta làm như sau:

Add 2 VM vào HA
Khi tôi cấu hình như trên: Cơ chế mặc định của Proxmox HA khi tôi không cấu hình gì ở mục dưới (Affinity Rules), hệ thống sẽ tự hiểu là "VM này có thể nhảy sang bất kỳ host nào còn sống trong Cluster".
Các mục cấu hình nâng cao khác bạn đọc tự tìm hiểu và cấu hình testing thêm. Tham khảo thêm phần “Tính năng HA trên Proxmox Cluster” mục 8.5
Treo ping test

Hiện tại 2 VM đang kết nối bình thường

Bây giờ tôi sẽ OFF PROX7 để kích hoạt cơ chế HA này


Biểu tượng node PROX7 lập tức đổi sang dấu X đỏ báo hiệu mất kết nối mạng. Trong bảng HA Status, trạng thái của PROX7 được ghi nhận ban đầu là shutdown mode (hoặc bắt đầu mất tín hiệu heartbeat). Hai node còn lại (PROX5 và PROX6) vẫn giữ trạng thái quorum OK và cùng bầu PROX5 làm master điều phối cứu hộ.

Dòng trạng thái chuyển sang: PROX7 (old timestamp - dead?, ...).
Đây là lúc HA Manager phát hiện ra node PROX7 đã quá thời gian cập nhật time-stamp (thường là sau khoảng 1 phút mất kết nối liên tục). Hệ thống chính thức gắn nhãn nghi ngờ node này đã chết hoàn toàn (dead?).
Lúc này Ceph nhờ có đủ quorum nên vẫn giữ đĩa ảo an toàn, không block I/O. Hệ thống chuẩn bị ra quyết định kích hoạt hàng rào bảo vệ (Fencing) và dịch chuyển hạ tầng.
Các VM khi node Prox7 off VM bị mất kết nối tạm thời (Request timed out)



Sau khi xác nhận PROX7 (old timestamp - dead?), HA Manager lập tức thực hiện Fencing node chết và migrate lại hai con VM 118 và 124 sang bên host PROX6. Trạng thái của 2 VM chuyển từ started (bên node cũ) sang starting (bên node mới).

Chỉ mất 1 khoảng thời ngắn cho công đoạn khởi động hệ điều hành từ bộ lưu trữ Ceph dùng chung, hai con VM đã chính thức chuyển sang màu xanh started tại PROX6. Cửa sổ dòng lệnh lập tức đón nhận tín hiệu Reply from... time<1ms trở lại mượt.



Boot vào OS ngon lành!

Tra log ta thấy:
Mốc 1 (17:38:33): Khi Host PROX7 bị off. Hệ thống ghi nhận trạng thái “node chết đột ngột/ Tắt nguồn đột ngột” cuối cùng của VM 118 và 124 trên PROX7 là Shutdown thành công (Status OK).
Mốc 2 (17:39:46): Đúng 1 phút 13 giây sau khi PROX7 mất tích hoàn toàn (đủ thời gian để xác nhận node chết hẳn dựa trên dấu timestamp ở ảnh 1), HA Manager lập tức bắn lệnh VM 118 - Start và VM 124 - Start tự động trên node PROX6.