Mới đây, Tập đoàn FPT công bố triển khai hạ tầng AI mới tại AI Factory (nhà máy AI), sử dụng hệ thống Nvidia HGX B300 - dòng GPU tân tiến dành cho các trung tâm AI quy mô lớn. Theo đó, hạ tầng tính toán mới được thiết kế để phục vụ các bài toán về AI suy luận (reasoning) và AI tự vận hành (agentic AI) - những mô hình có khả năng ra quyết định và hành động thay vì chỉ xử lý dữ liệu.
Hạ tầng AI mới của FPT AI Factory sử dụng NVIDIA HGX B300 với 8 card GPU NVIDIA Blackwell Ultra. Mỗi GPU sở hữu bộ nhớ 288 GB, mang lại tổng dung lượng lên tới 2.1 TB mỗi node, cho phép triển khai các mô hình hàng nghìn tỷ tham số, AI đa phương thức và các ứng dụng xử lý ngữ cảnh dài với hiệu quả cao hơn.
 |
| Hạ tầng GPU Cloud thế hệ mới dành cho AI suy luận và tạo sinh quy mô lớn. |
So với thế hệ NVIDIA Blackwell trước đó, NVIDIA HGX B300 mang lại hiệu năng cao hơn tới 1.5 lần, giúp tăng tốc cả huấn luyện lẫn suy luận AI. Nhờ đó, doanh nghiệp có thể rút ngắn thời gian triển khai mô hình, phục vụ nhiều người dùng hơn và tối ưu chi phí vận hành.
Nền tảng có thể giúp giảm tới 66% chi phí suy luận AI, giảm 49% chi phí huấn luyện và cải thiện gần 3 lần hiệu quả chi phí trên mỗi token. Bên cạnh hiệu năng, hệ thống cũng được xây dựng với tiêu chuẩn bảo mật doanh nghiệp, độ ổn định cao và đội ngũ kỹ sư hỗ trợ chuyên sâu.
 |
| Hạ tầng AI thế hệ mới của FPT AI Factory cải thiện tới 2.95x hiệu quả chi phí trên mỗi token. |
Nền công nghiệp AI đang bước sang giai đoạn mới, khi trọng tâm không còn chỉ là huấn luyện mô hình mà chuyển mạnh sang suy luận AI (AI inference) - quá trình AI tạo phản hồi và xử lý yêu cầu của người dùng theo thời gian thực. Điều này kéo theo nhu cầu xử lý khối lượng token lớn với tốc độ nhanh, độ trễ thấp và chi phí tối ưu.
Trong bối cảnh đó, hạ tầng điện toán cần được cải tiến để đáp ứng “nền kinh tế token”, nơi hiệu suất AI được đo bằng tốc độ sinh token, thời gian phản hồi và chi phí trên mỗi token. Việc tích hợp NVIDIA HGX B300 giúp FPT AI Factory vận hành như một “AI Token Factory”, hỗ trợ các tổ chức nâng cao năng lực AI suy luận với hiệu suất cao và chi phí tối ưu.
 |
| Khẳng định vị trí tiên phong làm chủ công nghệ AI Cloud tại Việt Nam và trong khu vực. |
FPT là nhà cung cấp đầu tiên tại Việt Nam đưa NVIDIA HGX B300 vào vận hành, cung cấp hạ tầng AI hiện đại theo chuẩn quốc tế, phục vụ nghiên cứu, phát triển và ứng dụng AI quy mô lớn. Trước đó, FPT AI Factory tiên phong cung cấp các dịch vụ GPU Cloud với NVIDIA HGX H100 và HGX H200, phục vụ hơn 18.000 nhà phát triển và kỹ sư AI từ các doanh nghiệp, tổ chức nghiên cứu và giáo dục trên toàn cầu.
| Trong bảng xếp hạng TOP500 công bố tháng 6/2025, hai nhà máy AI của FPT đặt tại Nhật Bản và Việt Nam lần lượt giữ vị trí thứ 36 và 38. Thành tích này đưa AI Factory của FPT vào nhóm hạ tầng siêu máy tính hàng đầu thế giới, đồng thời xác lập FPT là nhà cung cấp dịch vụ AI Cloud thương mại số 1 tại Nhật Bản với siêu chip NVIDIA H200 Tensor Core GPU SXM5. TOP500 là bảng xếp hạng uy tín toàn cầu về siêu máy tính hiệu năng cao (HPC) dựa trên chuẩn đo lường LINPACK - tiêu chuẩn đánh giá khả năng thực hiện các phép tính số học phức tạp của hệ thống trong mỗi giây (FLOPS). |
Minh Triết
Ý kiến
()