Khi các nhà phát triển có một công việc cụ thể mà AI có thể giải quyết, nó thường không đơn giản như chỉ trỏ LLM vào dữ liệu. Có những cân nhắc khác như chi phí, tốc độ và độ chính xác và việc tìm cách cân bằng tất cả những điều đó đặc biệt khó khăn, đặc biệt là với rất nhiều mô hình mới luôn xuất hiện trực tuyến.
Đó là lúc Unify xuất hiện, một công ty khởi nghiệp người Anh xuất thân từ cựu sinh viên Đại học Imperial, người đã nghĩ ra một công cụ bộ định tuyến cho phép các nhà phát triển nhập tham số và tìm LLM tốt nhất cho các yêu cầu riêng của họ, bất kể chúng có thể là gì. Vào thứ Tư, công ty đã công bố khoản đầu tư 8 triệu USD.
Người sáng lập và Giám đốc điều hành công ty Daniel Lenton nói với TechCrunch: “Mục tiêu chính của Unify là tìm ra mô hình nào từ nhà cung cấp nào phù hợp nhất với nhiệm vụ của bạn bằng cách sử dụng các điểm chuẩn và bảng điều khiển khách quan cho phép bạn so sánh chúng”.
“Bộ định tuyến thực sự là một phần mở rộng tự nhiên của quy trình này, đặc biệt khi các công ty bắt đầu triển khai trên quy mô lớn và tốc độ cũng như chi phí trở nên quan trọng hơn. Vì vậy, những gì chúng tôi thực sự đang cố gắng làm là cung cấp cho mọi người nhiều quyền kiểm soát hơn đối với hồ sơ chất lượng, chi phí và tốc độ của các ứng dụng LLM của họ,” Lenton nói.
Không có gì đáng ngạc nhiên khi Unify sử dụng AI để chạy ứng dụng bộ định tuyến lõi. “Bản thân bộ định tuyến của chúng tôi là một mạng lưới thần kinh có thể học được. Vì vậy, nó tìm hiểu mô hình nào là tốt nhất để thực hiện nhiệm vụ nào,” ông nói. Công ty thực hiện điều này bằng cách chạy các điểm chuẩn toàn diện trên từng mẫu máy mới cho tất cả các nhiệm vụ này bằng cách sử dụng GPT Pro làm giám khảo. Từ đó, hệ thống biết được mô hình này đã thực hiện một số nhiệm vụ nhất định tốt như thế nào trong các tập huấn luyện của họ.
Ông nói: “Vì vậy, rất nhanh chóng, bất kỳ nhà cung cấp mô hình mới nào cũng được bộ định tuyến hỗ trợ về cơ bản một hoặc hai ngày sau đó”.
Lenton cho biết bộ định tuyến và cách họ xây dựng một mô hình độc đáo để đào tạo nó, bản thân nó là một cách để bảo vệ những gì công ty khởi nghiệp của anh ấy đang làm khỏi sự xâm lấn của những người chơi lớn hơn, điều đó và thực tế là họ trung lập và những người siêu quy mô có thể không được.
Ông cho biết thông thường khách hàng chỉ đang thử nghiệm các mẫu khác nhau và không có công cụ để theo dõi mẫu nào là tốt nhất.
“Có những người gặp vấn đề nóng nảy sẵn sàng thử một giải pháp hiện có. Vì vậy, tôi nghĩ đó là cách chúng tôi đã đặt chân được vào cửa,” ông nói.
Trong khi có những đối thủ cạnh tranh như Martian Router, OpenRouter và Portkey, Lenton cho biết công ty của ông là công ty duy nhất cùng tối ưu hóa về chất lượng, chi phí và tốc độ.
Hiện tại, công ty còn nhỏ với bảy nhân viên và anh ấy đang cố tình giữ cho nó tinh gọn trong khi cố gắng đưa một sản phẩm có thể kiếm tiền hoàn toàn ra thị trường. Kế hoạch là bổ sung thêm ba nhân viên trong năm nay.
Ông báo cáo cho đến nay đã có khoảng 3.000 người đăng ký với vài trăm người dùng thường xuyên. Họ hy vọng kiếm được tiền khi tính phí các công ty xây dựng tiêu chuẩn tùy chỉnh của riêng họ. Mỗi công ty có thể bắt đầu sử dụng công cụ này với khoản tín dụng $50.
Khoản đầu tư 8 triệu USD đến từ nhiều nhà đầu tư bao gồm SignalFire, M12, J12, Essence VC, A. Capital, Lunar VC, Y Combinator và một loạt các thiên thần nổi bật trong ngành.
Chúng tôi đang tung ra một bản tin AI! Đăng ký đây để bắt đầu nhận nó trong hộp thư đến của bạn vào ngày 5 tháng 6.
