ElevenLabs đã khóa tài khoản người dùng sau khi phát hiện ra công nghệ của họ được sử dụng để mạo danh Joe Biden trong cuộc bầu cử sơ bộ ở New Hampshire.
Pindrop Security, một công ty chuyên phát hiện gian lận giọng nói, đã phân tích đoạn ghi âm Tổng thống Mỹ Joe Biden kêu gọi mọi người “không tham gia cuộc bầu cử sơ bộ của đảng Dân chủ ở New Hampshire” và kết luận rằng đó thực sự là một bản deepfake sử dụng công nghệ ElevenLabs. .
Vào ngày 27 tháng 1, một người quen thuộc với vấn đề này tiết lộ rằng ElevenLabs đã mở một cuộc điều tra và khóa tài khoản của người tạo ra deepfake.
ElevenLabs, một startup phát triển phần mềm AI tạo giọng nói bằng hơn 20 ngôn ngữ, không bình luận về vụ việc nhưng cho biết: “Chúng tôi luôn cố gắng ngăn chặn việc lạm dụng các công cụ AI âm thanh và xử lý nghiêm khắc mọi trường hợp lạm dụng”.
Thông tin này được đưa ra vài ngày sau khi CEO Mati Staniszewski thông báo rằng ElevenLabs trị giá 1,1 tỷ USD.
Đoạn ghi âm, nhại lại giọng nói của Biden, xuất hiện trước cuộc bầu cử sơ bộ ở New Hampshire vào tháng trước. băng hình: tin tức nbc
Theo trang web của công ty, ElevenLabs cho phép người dùng bắt chước giọng nói của những người nổi tiếng, bao gồm cả các nhà lãnh đạo quốc gia, “để thể hiện sự hài hước hoặc mỉa mai và làm cho người nghe hiểu rõ rằng sản phẩm này chỉ là một tác phẩm nhại lại để giải trí.”
Việc xuất hiện đoạn ghi âm bắt chước giọng nói của Biden vào tháng trước đã khiến nhiều chuyên gia và quan chức bầu cử Mỹ lo ngại. Nó không chỉ cho thấy việc phát tán âm thanh deepfake dễ dàng như thế nào mà còn cho thấy nguy cơ những kẻ xấu sử dụng công nghệ này để ngăn cản cử tri bỏ phiếu và ảnh hưởng đến kết quả bầu cử.
Người phát ngôn của Văn phòng Luật sư New Hampshire cho biết tin nhắn này “dường như là một nỗ lực trái phép nhằm làm gián đoạn cuộc bầu cử sơ bộ và gây bất tiện cho cử tri” và cho biết họ đang điều tra.
Người dùng dịch vụ của ElevenLabs phải thanh toán bằng thẻ tín dụng, nhưng không rõ liệu công ty này có chuyển thông tin về người sáng tạo deepfake của ông Biden cho giới chức New Hampshire hay không.
Các công cụ deepfake trên thị trường xác định đây là bản ghi giả nhưng không thể phát hiện ra công nghệ đằng sau nó. Công cụ phân tích giọng nói riêng của ElevenLabs đã đánh giá khả năng đoạn ghi âm được tạo ra bởi trí tuệ nhân tạo là 2%.
Người sáng lập Pindrop Vijay Balasubramaniyan cho biết các nhà nghiên cứu của ông đã loại bỏ tiếng ồn xung quanh và chia đoạn ghi âm thành 155 đoạn, mỗi đoạn 250 mili giây để phân tích thêm. Họ so sánh âm thanh với hơn 100 cơ sở dữ liệu của hệ thống chuyển văn bản thành giọng nói thường được sử dụng trong các tác phẩm giả mạo sâu.
Balasubramaniyan cho biết: “Nhóm nghiên cứu kết luận rằng đoạn ghi âm gần như chắc chắn có nguồn gốc từ công nghệ của ElevenLabs”.
Trên kênh Discord ElevenLabs, một người điều hành thừa nhận rằng các công cụ phân tích của họ không thể phát hiện ra tác phẩm của chính anh ta trừ khi có bản ghi gốc.
Balasubramaniyan đồng ý. Đối với deepfake của ông Biden, tệp ghi âm duy nhất có thể được phân tích là bản ghi âm điện thoại, trong đó nhiều đoạn siêu dữ liệu đã bị loại bỏ, gây khó khăn cho việc ghi lại các sóng âm thanh cụ thể.
Ngày 19/1, Tổng thống Mỹ Joe Biden đã có mặt tại Nhà Trắng. hình ảnh: Báo chí liên quan
Siwei Lu, giáo sư tại Đại học Buffalo, chuyên về deepfake và phân tích dữ liệu số, cảnh báo tình trạng này sẽ lặp lại trong cuộc bầu cử tổng thống Mỹ. Ông nói: “Đây là điều mà mọi người cần phải hiểu.
Balasubramanyan cho biết: “Công nghệ bắt chước giọng nói có thể lừa mọi người tin rằng họ đang nghe tin nhắn từ các chính trị gia và quan chức cấp cao. Điều này rất đáng lo ngại”.
cơ quan báo chí Báo chí liên quan Ngày 23/1, Tổng thống Joe Biden đã được bầu là người chiến thắng trong cuộc bầu cử sơ bộ của đảng Dân chủ ở New Hampshire.
Biden không tham gia bầu cử sơ bộ ở New Hampshire vì bầu cử sơ bộ ở bang này vi phạm lịch trình do Ủy ban Quốc gia Đảng Dân chủ đặt ra. Tổng thống Hoa Kỳ đã tuân thủ các quy định của ủy ban và không nộp giấy tờ để ghi tên mình vào lá phiếu ở New Hampshire.
Tuy nhiên, các cử tri ở New Hampshire ủng hộ tổng thống vẫn đang tìm cách giúp ông giành chiến thắng trong cuộc bỏ phiếu bằng chiến dịch “điền tên bạn” chưa từng có. Họ kêu gọi nhau ghi tên ông Biden vào lá phiếu để thể hiện sự ủng hộ đối với tổng thống đương nhiệm.
(dựa theo sự giàu có)
