Musk chế tạo siêu máy tính đào tạo AI lớn nhất trong 122 ngày

“Tuần này, xAI đã đưa cụm đào tạo Colossus với 100.000 chip H100 vào hoạt động. Từ đầu đến cuối, mọi thứ được hoàn thành chỉ trong 122 ngày”, Elon Musk viết trên X vào ngày 3/9.

Tỷ phú Mỹ cho biết Colossus là hệ thống đào tạo AI mạnh nhất thế giới, nhưng xAI sẽ sớm tăng gấp đôi quy mô tính toán lên 200.000 chip H100, hoặc “trong vài tháng tới” mua 50.000 chip H200 mới. H200 hiện là chip AI mạnh nhất của Nvidia, mạnh gấp đôi H100 hiện tại.

Ngoài ra, Musk cũng cảm ơn đội ngũ Nvidia, các đối tác và nhà cung cấp đã giúp xAI hoàn thành công việc đúng tiến độ.

Đánh giá ở quy mô siêu máy tính, tốc độ gỡ lỗi Colossus của Musk được đánh giá là rất nhanh. Vào tháng 3 năm nay, tỷ phú này đã lên kế hoạch xây dựng một hệ thống mang tên “Gigafactory of Computing” để đào tạo AI Grok. Vào tháng 5 năm nay, Musk cho biết cá nhân ông sẽ đảm bảo siêu máy tính được phát triển theo đúng kế hoạch. Một tháng sau, bất chấp mọi khó khăn, anh chọn một địa điểm ở Memphis, Tennessee.

theo sự giàu cóTrung tâm của Musk có khoảng 100.000 chip Nvidia H100, số lượng GPU lớn nhất và lớn hơn bất kỳ cụm điện toán AI đơn lẻ nào từng được biết đến. Nếu số lượng chip được tăng lên 200.000, vị thế siêu máy tính đào tạo AI lớn nhất thế giới của nó sẽ được củng cố hơn nữa.

Cụm siêu máy tính ở Memphis dự kiến ​​sẽ huấn luyện Grok thế hệ thứ ba của Musk, có tên là Grok-3. Vào tháng 7, anh chia sẻ trên Jordan Peterson Podcast rằng: “Grok-3 sẽ được ra mắt vào tháng 12 và sẽ là trí tuệ nhân tạo mạnh nhất thế giới khi ra mắt”.

Phiên bản beta đầu tiên của Grok-2 đã được phát hành tới người dùng vào tháng trước. AI được đào tạo trên hệ thống gồm 15.000 chip H100. Theo dữ liệu do Imsys.org công bố vào ngày 24 tháng 8, AI này hiện rất mạnh, chỉ đứng sau ChatGPT, GPT-4o của OpenAI và Gemini 1.5 Pro của Google về sức mạnh tính toán và cao hơn Llama 3.1 của Meta với 405 tỷ thông số. .

theo người trong cuộc kinh doanhVới thông báo mới, cuộc đua AI giữa Elon Musk và CEO Meta Mark Zuckerberg sẽ trở nên hấp dẫn, ít nhất là thông qua việc sở hữu chip H100. Trước đó, ước tính của Street Capital cho thấy công ty của Musk có 135.000 chip và công ty của Zuckerberg có 350.000 chip.

Vào tháng 1, Zuckerberg cho biết Meta sẽ có 600.000 chip trong kho vào cuối năm nay. Đến nay, Meta vẫn chưa công bố số tiền mua chính xác. Vào tháng 7, công ty cho biết Llama 3 đã sử dụng 16.000 chip để đào tạo và đang xây dựng cụm 24.000 chip để phát triển các mẫu cao cấp hơn.