Đánh giá TOT GPU Cloud: Hiệu năng thực tế trên NVIDIA RTX 5880 Ada (Review của NCS từ PTIT)

Tác giả báo cáo:  Đỗ Phúc Hảo, NCS, Đại học Viễn thông Bang Saint Petersburg Bonch-Bruevich, LinkedIn. Hợp tác cùng: TS. Đinh Trường Duy, Học viện Công nghệ Bưu chính Viễn thông

Khi triển khai các dự án AI/ML (Trí tuệ nhân tạo/Học máy), việc lựa chọn hạ tầng Cloud GPU mạnh mẽ và ổn định là yếu tố sống còn. Bài viết này tóm tắt những đánh giá kỹ thuật về dịch vụ TOT GPU Cloud VM, cụ thể là TOT GPU C của TOTHOST, được thực hiện qua quy trình kiểm thử nghiêm ngặt bởi tác giả..

1. Cấu hình phần cứng được sử dụng

Hệ thống được kiểm thử sở hữu thông số kỹ thuật ấn tượng, tối ưu cho các tác vụ huấn luyện mô hình (Model Training) và suy luận (Inference):

• GPU: 1x NVIDIA RTX 5880 Ada Generation (48GB GDDR6 VRAM) - Điểm nhấn quan trọng nhất.
• CPU: 8 vCPUs (Intel Xeon Gold 6330N @ 2.20GHz).
• RAM: 16 GB.
• Lưu trữ: 200 GB.
• Ảo hóa: VMware.

Hệ điều hành được cài đặt: Ubuntu 24.04 LTS

2. Setup môi trường

Bên cạnh hiệu năng, nhóm nghiên cứu từ PTIT cũng đi sâu vào quy trình thiết lập môi trường. Một số điểm đáng lưu ý cho người dùng mới (Developers/SysAdmins):

• Mở rộng lưu trữ (LVM):

Mặc dù ổ cứng được cấp phát 200GB, nhưng hệ điều hành ban đầu chỉ nhận diện một phần. Người dùng cần có kiến thức về Linux LVM (pvcreate, lvextend...), hoặc có thể liên hệ lại với IT support để được hỗ trợ mở rộng phân vùng root. Đây là tính năng cho thấy sự linh hoạt và quyền kiểm soát root hoàn toàn của VM.

• Môi trường AI (PyTorch/Conda):

Nhóm chuyên gia khuyến nghị sử dụng phương pháp cài đặt "Hybrid": Dùng Conda để quản lý môi trường nhưng cài đặt PyTorch thông qua Pip để tránh xung đột thư viện Intel MKL thường gặp.

3. Kiểm thử hiệu năng (Benchmark Results)

Kết quả Benchmark cho thấy TOT GPU Cloud vô cùng mạnh mẽ về hiệu năng xử lý tính toán:

Khả năng xử lý đồ họa và AI

• Tính toán thô (Matrix Multiplication):

Với phép nhân ma trận lớn (20000 x 20000 FP32), hệ thống chỉ mất trung bình 0.64 giây. Điều này khẳng định năng lực tính toán thô xuất sắc.

• Tác vụ thực tế (Stable Diffusion v1.5):

Thời gian tạo một ảnh chất lượng cao (512x512) chỉ mất 1.85 giây.

Việc tạo ra một hình ảnh chất lượng cao trong chưa đầy 2 giây là một kết quả cực kỳ ấn tượng. Điều này khẳng định hiệu năng mạnh mẽ của GPU trong các tác vụ AI tạo sinh (Generative AI) thực tế. Trong quá trình thử nghiệm, số liệu giám sát cho thấy GPU đã đạt trạng thái hiệu năng cao (P2) và tiêu thụ công suất lên tới 243W.

Tốc độ mạng và lưu trữ

• Internet:

Tốc độ đối xứng ấn tượng đạt xấp xỉ 300 Mbps (Download ~291 Mbps / Upload ~297 Mbps). Đây là lợi thế lớn cho việc tải xuống các bộ dữ liệu (dataset) lớn và tải lên các model sau khi train.

Tốc độ mạng được đo bằng speedtest-cli kết nối tới máy chủ đặt tại Hà Nội.

• Ổ cứng:

Tốc độ đọc/ghi tuần tự đạt mức ổn định (Write: 121 MB/s, Read: 107 MB/s), đủ đáp ứng cho việc lưu checkpoint và xử lý dữ liệu.

Tốc độ ổ cứng mở rộng được kiểm tra bằng lệnh dd sử dụng file test 10GB.

4. Kết luận

Theo đánh giá tổng quan từ báo cáo: TOT GPU Cloud VM là một nền tảng đáng gờm cho nghiên cứu AI tại Việt Nam

Tóm tắt kết quả

• Hiệu năng hạ tầng: Phần cứng cốt lõi mang lại hiệu suất xuất sắc. GPU NVIDIA RTX 5880 là "ngôi sao sáng" của hệ thống, cung cấp sức mạnh tính toán khổng lồ, được minh chứng qua thời gian tạo ảnh dưới 2 giây với Stable Diffusion. Kết nối mạng cũng là một điểm mạnh với tốc độ đối xứng 300 Mbps.
• Cấp phát hệ thống: Nền tảng cung cấp quyền root cần thiết cho các tác vụ quản trị hệ thống thiết yếu như mở rộng LVM, mang lại sự linh hoạt tuyệt vời cho người dùng nâng cao.
• Trải nghiệm nhà phát triển: Quá trình thiết lập ban đầu đặt ra những thách thức thực tế. Việc phải mở rộng dung lượng lưu trữ thủ công và xử lý các vấn đề phức tạp về thư viện phụ thuộc (phân vân giữa Conda và Pip cho PyTorch) là những rào cản đáng kể trong hành trình cài đặt. Tuy nhiên, việc vượt qua những thách thức này sẽ đem lại một môi trường làm việc cuối cùng cực kỳ ổn định và mạnh mẽ.

Ưu điểm

• Phần cứng GPU Hàng đầu: Việc được tiếp cận dòng NVIDIA RTX 5880 Ada Generation với 48GB VRAM là một lợi thế cạnh tranh đáng kể, cho phép nghiên cứu trên các mô hình lớn.
• Hiệu năng tính toán và mạng xuất sắc: Các bài benchmark xác nhận rằng toàn bộ sức mạnh phần cứng đều sẵn sàng phục vụ người dùng, được bổ trợ bởi kết nối mạng rất mạnh. Hiệu năng thực tế trong các tác vụ AI tạo sinh (Generative AI) là đặc biệt ấn tượng.
• Sự linh hoạt và quyền kiểm soát: Việc cung cấp một máy ảo (VM) thực thụ với quyền root cho phép các nhà nghiên cứu tùy chỉnh hoàn toàn môi trường của họ, một tính năng quan trọng cho R&D.

Khuyến nghị

Dịch vụ này cực kỳ phù hợp cho các nhà nghiên cứu, kỹ sư AI cần sức mạnh tính toán cao. Tuy nhiên, người dùng cần trang bị kiến thức quản trị hệ thống cơ bản. Nếu có  các bản Image tích hợp sẵn (Pre-configured AI-Ready Images) sẽ rút ngắn thời gian setup.

Xem đầy đủ báo cáo

Ngoài ra nếu bạn đang tìm hiểu về VPS GPU, có thể tham khảo thêm một số bài viết:

Đánh giá chi tiết hiệu năng GPU NVIDIA RTX 5880 trên VPS TOT GPU

Hướng dẫn cài đặt và sử dụng Stable Diffusion 3.5 trên VPS GPU Windows