Nếu chạy trên chip do Groq phát triển, ChatGPT dự kiến sẽ nhanh hơn 13 lần so với GPU Nvidia.
Đoạn video chatbot phản hồi người dùng từ Groq với tốc độ “nhanh như chớp” đang lan truyền trên mạng xã hội. Công ty khởi nghiệp đằng sau những video này tuyên bố sẽ cung cấp “mô hình ngôn ngữ quy mô lớn nhanh nhất thế giới”. Nhiều thử nghiệm độc lập cũng chứng minh hiệu quả hoạt động xuất sắc của Groq.
dựa theo Gizmodo, Tốc độ đáng kinh ngạc của chatbot Groq khiến mô hình Grok AI của Elon Musk phải xấu hổ. Mặc dù có tên giống nhau nhưng Groq không cạnh tranh trực tiếp với chatbot của Elon Musk, Gemini của Google hay ChatGPT của OpenAI. Trên thực tế, Groq là một công ty khởi nghiệp được thành lập tại California vào năm 2016, chuyên phát triển chip trí tuệ nhân tạo để xử lý ngôn ngữ (LPU). Họ cho rằng chip LPU nhanh hơn GPU của Nvidia.
dựa theo Vừa phảiTrong ngành AI, GPU của Nvidia được coi là chuẩn mực để chạy các mô hình AI, nhưng sự xuất hiện của Groq có thể sẽ định hình lại tương lai của trí tuệ nhân tạo.
So sánh tốc độ của Groq (trái) và ChatGPT 3.5. băng hình: Dina Yelland
sức mạnh của Grok
Một trong những thách thức lớn nhất trong cuộc cạnh tranh AI sáng tạo ngày nay là khả năng phản hồi. Các công ty như OpenAI và Google đang nỗ lực tăng tốc độ phản hồi của AI và khiến các cuộc trò chuyện trở nên tự nhiên hơn. Thậm chí, Google còn thừa nhận đã chỉnh sửa video trong buổi thuyết trình Genimi để tạo cảm giác “mượt mà” hơn.
Để khắc phục vấn đề về độ trễ của chatbot, Groq đã sản xuất chip LPU có thể giúp các mô hình ngôn ngữ lớn tăng tốc độ suy luận lên 500 token mỗi giây. Trong khi đó, Gemini Pro của Google hay GPT 3.5 của OpenAI đã đạt 30-50 xu mỗi giây.
Công ty phân tích Artificial Analysis thực tế đã kiểm tra tốc độ của Groq bằng cách sử dụng 8 mô hình AI dựa trên GPU phổ biến nhất hiện nay. Kết quả là Groq vượt trội về độ trễ thấp và thời gian phản hồi nhanh. Sự khác biệt hiệu suất lớn nhất xảy ra khi chạy mô hình Llama 2-70b của Meta.
So sánh hiệu suất của Groq với các nền tảng thực thi AI phổ biến hiện nay. nguồn: Phân tích thủ công
Cụ thể, trong một giây, một chatbot chạy trên LPU của Groq có thể tạo ra 247 token. Mô hình ChatGPT chạy trên đám mây Microsoft Azure đạt 18 token/giây. Điều này có nghĩa là ChatGPT sẽ chạy nhanh hơn 13 lần nếu chạy trên chip LPU của Groq.
Trong một thử nghiệm khác, Giám đốc điều hành Groq Jonathon Ross huấn luyện người điều hành CNN Trò chuyện bằng lời nói với một chatbot AI ở bên kia thế giới tại Hoa Kỳ mà không bị gián đoạn.
Phân tích của con người ước tính rằng hiệu suất đáng kinh ngạc này có thể mở ra tiềm năng mới cho các mô hình ngôn ngữ lớn trên nhiều lĩnh vực khác nhau bằng cách cho phép người dùng thực hiện các tác vụ gần như trong thời gian thực.
Tác động của Groq tới ngành AI
Mỗi chip Groq LPU hiện có giá 20.000 USD (480 triệu đồng), tương đương với GPU A100 của Nvidia.dựa theo Vừa phảiviệc phát hành chip LPU của Groq đánh dấu một cột mốc mới trong các tác vụ xử lý ngôn ngữ so với GPU truyền thống.
Groq được kỳ vọng sẽ thách thức những gã khổng lồ như Nvidia, AMD và Intel, đồng thời mở đường cho các mô hình và ứng dụng trí tuệ nhân tạo mới. Hiệu suất vượt trội của LPU củng cố vị thế của Groq trong cuộc cạnh tranh tăng tốc AI. Trong bối cảnh robot trò chuyện không ngừng phát triển và quy mô của các mô hình ngôn ngữ ngày càng mở rộng, LPU có lợi thế về tốc độ, hiệu suất, tiết kiệm chi phí và vai trò của nó sẽ lớn hơn.
Tiến thêm một bước nữa, LPU của Groq có thể giúp các ứng dụng trí tuệ nhân tạo dễ tiếp cận hơn, mở ra khả năng tương tác theo thời gian thực với người dùng. Trí tuệ nhân tạo sẽ mở ra một kỷ nguyên mới có thể được sử dụng rộng rãi trong kinh doanh và xã hội.
Hãy thử Groq bằng tiếng Việt. băng hình: Giang Ya
Thử thách cùng Groq
Chip LPU của Groq có thể chạy hầu hết các mô hình ngôn ngữ chính hiện nay. Tuy nhiên, chip chỉ đạt hiệu suất tối đa khi xử lý các tác vụ liên quan đến suy luận chuỗi văn bản. Để đào tạo mô hình, các công ty vẫn cần sử dụng GPU Nvidia hoặc chip tương tự.
dựa theo ReutersGroq đang cố gắng giành lấy thị phần từ Nvidia, nhưng công ty vẫn còn một chặng đường dài phía trước để có được chỗ đứng trong một thị trường có tính cạnh tranh cao. GPU của Nvidia và TPU của Google từ lâu đã được các nhà phát triển và nghiên cứu AI tin tưởng. LPU của Groq phải chứng minh được độ tin cậy và ổn định chứ không chỉ là hiệu suất và chi phí.
Groq đã phải đối mặt với một số nhầm lẫn khi có cái tên tương tự như Grok của Elon Musk. Ngoài ra, còn có một công ty khác trong ngành AI tên là Grok Grime, chuyên bán đồ chơi tích hợp trí tuệ nhân tạo.
Tuy nhiên, các nhà phân tích cho rằng Groq vẫn có tiềm năng lớn để tạo ra bước ngoặt lớn trong lĩnh vực trí tuệ nhân tạo. Ngoại hình ấn tượng của LPU có thể thu hút sự chú ý của những nhân vật có tầm ảnh hưởng như Sam Altman, người đang tìm kiếm giải pháp thay thế cho chip trí tuệ nhân tạo.
Giang Ya
