Viettel Solutions và Nvidia chia sẻ một bộ dữ liệu lớn miễn phí cho AI Trợ lý AI trong cộng đồng phát triển R & D AI.
Bộ dữ liệu đã được xuất bản trên trang chia sẻ công nghệ của NVIDIA, tạo ra nền tảng cho sự phát triển mạnh mẽ của các mô hình ngôn ngữ lớn (LLM LLM).
Sản phẩm là sự hợp tác đầu tiên giữa Việt Nam giải pháp và NVIDIA. Công nghệ của Viettel Solutions thu thập và xử lý dữ liệu trực tiếp từ các nguồn khác nhau, tiêu chuẩn hóa, phân loại, làm sạch và tổng hợp dữ liệu. Quá trình này có hỗ trợ cho nền tảng NEMO Framework và cơ sở hạ tầng điện toán GPU do NVIDIA cung cấp.
Nhóm Phát triển Giải pháp Viettel. hình ảnh: ha
Hiện tại, các trợ lý AI được phát triển dựa trên các mô hình LLM, nhưng chủ yếu được đào tạo trong các trung tâm dữ liệu tiếng Anh. Do đó, các giải pháp của Việt Nam và bộ dữ liệu của Nvidia có thể giúp các ứng dụng AI phù hợp hơn với Việt Nam và mở ra nhiều tiềm năng phát triển tiềm năng cho cộng đồng trí tuệ nhân tạo Việt Nam.
Các đại diện của Viettel cho biết quá trình làm việc với NVIDIA có thể giúp các doanh nghiệp xây dựng dữ liệu chương trình làm sạch, tốt hơn khi xóa dữ liệu trùng lặp và không phù hợp. Dữ liệu đơn giản hơn cũng có thể giúp quá trình đào tạo nhanh hơn 4 lần.
Nhóm phát triển tại Viettel Solutions cũng sử dụng Nemo Curator, một thư viện được thiết kế dành riêng cho những người được đào tạo về các mô hình ngôn ngữ nền, đào tạo thích ứng miền (DAPT), điều chỉnh giám sát (SFT) và đào tạo thâm nhập (PEFT). Công cụ này tiết kiệm thời gian và cho biết cách nó sử dụng GPU để tận dụng DASK và RAPP để hỗ trợ tăng tốc của quản lý dữ liệu.
Vì sử dụng tài nguyên phần cứng và thư viện NEMO, chúng tôi đã xử lý đồng thời hơn 500GB dữ liệu văn bản, tương đương với 120 triệu tài liệu và 135 tỷ mã thông báo. Những thành tựu này đã mở ra nhiều tiềm năng phát triển tiềm năng cho cộng đồng AI Việt Nam.
Nhóm Viettel Solutions sẽ phát triển các bộ dữ liệu Việt Nam đa dạng hơn. hình ảnh: ha
Thành tựu giữa Viettel Solutions và Nvidia là xuất bản đào tạo Trợ lý AI chất lượng cao đầu tiên của Việt Nam lên một lượng lớn dữ liệu, truyền bá toàn bộ quá trình xử lý và đóng góp cho cộng đồng nghiên cứu, phát triển và đào tạo. Trong tương lai, hai đơn vị này sẽ tiếp tục thêm các nguồn dữ liệu mới, đảm bảo rằng các bộ dữ liệu Việt Nam đa dạng hơn, chính xác hơn và sâu sắc hơn về chủ đề này.
Ngoài ra, Việt Nam Giải pháp và NVIDIA nhằm xây dựng các bộ dữ liệu chuyên dụng để phát triển các trợ lý AI trong các lĩnh vực quan trọng như y tế, giáo dục, thương mại, hành chính công và tiếp tục hợp tác trong việc phát triển các công cụ và công nghệ AI theo hướng mở để thúc đẩy sự phát triển của cộng đồng nghiên cứu AI Việt Nam.
Các bộ dữ liệu lớn được cung cấp cho đào tạo Trợ lý AI của Việt Nam cũng giúp xác nhận các giải pháp Việt Nam và tầm nhìn chiến lược tổng thể của NVIDIA: để biến Việt Nam thành một trung tâm nơi nghiên cứu và phát triển AI hiện đại.
Trước đó, Việt Nam và Nvidia đã thiết lập một quan hệ đối tác chiến lược về AI, mở ra các hoạt động nghiên cứu và ứng dụng tại Việt Nam kể từ năm 2022. Gần đây, vào ngày 5 tháng 12, các chính phủ Việt Nam và NVIDIA tiếp tục ký hợp đồng với các trung tâm nghiên cứu và phát triển của NVIDIA, cũng như các trung tâm dữ liệu AI off-road.
Tran dài
Gửi đề xuất
