một người dùng
Ngày 1 tháng 7, người dùng bev-e/accc Các bình luận cho rằng việc sử dụng dữ liệu của nhau có thể dẫn đến hiệu ứng “con rết” – trích dẫn từ một bộ phim kinh dị trong đó một con rết khổng lồ được tạo ra bằng cách kết nối nhiều người lại với nhau.
Về vấn đề này, Elon Musk cho rằng, việc thay đổi thực tế này sẽ đòi hỏi rất nhiều nỗ lực, đồng nghĩa với việc phải tách việc đào tạo các mô hình ngôn ngữ lớn (LLM) ra khỏi dữ liệu trên Internet.
“Grok 2 ra mắt vào tháng 8 sẽ có những cải tiến lớn về mặt này.” Tỷ phú tiết lộ.
Tỷ phú Elon Musk tại Paris, Pháp, vào tháng 6 năm 2023. hình ảnh: Reuters
Grok là mô hình ngôn ngữ quy mô lớn được phát triển bởi xAI, công ty do Musk sáng lập, sử dụng nguồn dữ liệu khổng lồ từ mạng xã hội X. Hiện tại đã có Grok phiên bản 1.5. Vài phút sau, anh tiếp tục đề cập đến phiên bản tiếp theo: “Grok 3 sẽ ra mắt vào cuối năm và chắc chắn sẽ rất đặc biệt sau 100.000 lượt huấn luyện H100”.
Đây không phải là lần đầu tiên tỷ phú Nam Phi nhắc đến 100.000 GPU H100. vào tháng Năm, thông tin Elon Musk trích dẫn một cuộc họp với các nhà đầu tư, nơi ông cho biết công ty khởi nghiệp xAI sẽ cần rất nhiều card đồ họa chuyên dụng để kết nối với siêu máy tính và đào tạo phiên bản tiếp theo của chatbot Grok.
Sự lặp lại của các con số cho thấy ý tưởng này có thể sắp thành hiện thực. dựa theo Người trong cuộc, ý định của Musk cũng cho thấy dự án LLM sẽ tốn kém như thế nào. Giá trung bình hiện nay của GPU H100 trên thị trường vào khoảng 300.000-40.000 USD, sẽ rẻ hơn nếu mua với số lượng lớn nên kinh phí mua chip có thể lên tới 300-400 triệu USD, chưa kể các khoản khác. chi phí.
Tuy nhiên, đây không phải là con số lớn nhất. Vào tháng 1, đồng sáng lập Meta Mark Zuckerberg cho biết ông sẽ mua khoảng 350.000 GPU Nvidia H100 vào cuối năm 2024, nâng số chip ông sở hữu lên 600.000, bao gồm cả sản phẩm từ công ty khác Nvidia.
Khi cuộc cạnh tranh AI ngày càng trở nên khốc liệt, ai có GPU chuyên nghiệp hơn sẽ chiếm thế thượng phong. Từ các công ty khởi nghiệp cho đến các công ty công nghệ lớn trên thế giới đều tích cực sưu tầm chip trí tuệ nhân tạo. Hiện tại, GPU Nvidia có nhiều đơn đặt hàng nhất, trong khi AMD và các nhà sản xuất khác cũng bắt đầu tung ra các sản phẩm tương tự.
Theo tài liệu nội bộ được công bố Người trong cuộc Microsoft có kế hoạch tăng gấp ba số lượng GPU có sẵn. Đến cuối năm nay, công ty đặt mục tiêu có 1,8 triệu chip AI, phần lớn sẽ do Nvidia sản xuất nhưng có thể mua thêm từ các đối tác khác. Trong khi đó, Meta tuyên bố “sẵn sàng xây dựng một hệ thống đào tạo AI có thể lớn hơn bất kỳ công ty nào khác”. Năm ngoái, Musk đã đặt mua 10.000 chip H100 cho xAI. Các công ty Trung Quốc cũng đang tìm mua chip cao cấp từ Nvidia đồng thời phát triển chip chuyên dụng trong nước để tránh tụt hậu trong cuộc đua trí tuệ nhân tạo.
Lữ Quế
