Đằng sau những câu trả lời của ChatGPT là chục nghìn GPU để vận hành và hàng trăm triệu USD đầu tư

Mr.X

Well-Known Member
Tham gia
28/8/22
Bài viết
1,924
Được thích
89
8704 #1

Theo Bloomberg, OpenAI đã đào tạo ChatGPT trên một siêu máy tính được Microsoft xây dựng từ hàng chục nghìn GPU Nvidia A100. Microsoft đã công bố một hệ thống mới sử dụng GPU H100 hiện đại hơn của Nvidia trong tuần này.

Thách thức mà các công ty phải đối mặt bắt đầu vào năm 2019 sau khi Microsoft đầu tư 1 tỷ USD vào OpenAI đồng thời đồng ý xây dựng một siêu máy tính AI cho công ty khởi nghiệp. Tuy nhiên, Microsoft không có phần cứng nội bộ cho những gì OpenAI cần.

Sau khi mua lại chip của Nvidia, Microsoft đã phải suy nghĩ lại về cách sắp xếp số lượng GPU khổng lồ như vậy để tránh tình trạng quá nóng và mất điện. Công ty không nói chính xác chi phí là bao nhiêu, nhưng phó chủ tịch điều hành Scott Guthrie đưa ra con số trên vài trăm triệu USD.

Việc chạy đồng thời tất cả các GPU A100 buộc Microsoft phải xem xét cách bố trí và nguồn điện của chúng. Công ty cũng phải phát triển phần mềm mới để tăng hiệu quả, đảm bảo thiết bị mạng có thể chịu được lượng dữ liệu khổng lồ, thiết kế các khay cáp mới và sử dụng nhiều phương pháp làm mát. Tùy thuộc vào sự thay đổi của khí hậu, các kỹ thuật làm mát bao gồm bay hơi, làm mát bằng hơi nước và không khí bên ngoài.


Kể từ thành công ban đầu của ChatGPT, Microsoft và một số đối thủ đã bắt đầu phát triển các mô hình AI song song cho các công cụ tìm kiếm và các ứng dụng khác. Để tăng tốc độ AI tổng quát của mình, công ty đã giới thiệu ND H100 v5 VM, một máy ảo có thể sử dụng từ tám đến hàng nghìn GPU Nvidia H100.

H100 kết nối thông qua NVSwitch và NVLink 4.0 với băng thông chia đôi 3,6TB/giây giữa mỗi trong số 8 GPU cục bộ trong từng máy ảo. Mỗi GPU có băng thông 400 Gb/giây thông qua các kết nối Nvidia Quantum-2 CX7 InfiniBand và 64GB/giây PCIe5. Mỗi máy ảo quản lý 3,2Tb/giây thông qua mạng lưới fat-tree không chặn. Hệ thống mới của Microsoft cũng có bộ xử lý Intel Xeon thế hệ thứ 4 và RAM DDR5 16 kênh 4800 MHz.

Microsoft có kế hoạch sử dụng máy ảo ND H100 v5 cho công cụ tìm kiếm Bing mới do AI hỗ trợ, trình duyệt web Edge và Microsoft Dynamics 365. Máy ảo hiện có sẵn để preview và sẽ đạt tiêu chuẩn với Azure. Khách hàng tiềm năng có thể yêu cầu quyền truy cập.

 

Theo dõi Youtube

Quảng Cáo

Quảng Cáo

Có thể bạn quan tâm

Top Bottom