Một tính năng mà Google đã trình diễn tại hội nghị I/O ngày hôm qua, sử dụng công nghệ AI tổng quát của mình để quét các cuộc gọi thoại trong thời gian thực để tìm ra các kiểu hội thoại liên quan đến lừa đảo tài chính, đã khiến các chuyên gia bảo mật và quyền riêng tư đang cảnh báo về tính năng này phải rùng mình. đại diện cho phần cuối mỏng của cái nêm. Họ cảnh báo rằng, một khi tính năng quét phía máy khách được đưa vào cơ sở hạ tầng di động, nó có thể mở ra một kỷ nguyên kiểm duyệt tập trung.
Bản demo của Google về tính năng phát hiện lừa đảo cuộc gọi mà gã khổng lồ công nghệ cho biết sẽ được tích hợp vào phiên bản tương lai của hệ điều hành Android – ước tính sẽ chạy trên khoảng 3/4 số điện thoại thông minh trên thế giới – được cung cấp bởi Gemini Nano, phiên bản nhỏ nhất trong số đó. thế hệ mô hình AI hiện tại có nghĩa là chạy hoàn toàn trên thiết bị.
Đây thực chất là quét phía khách hàng: Một công nghệ non trẻ đã gây ra tranh cãi lớn trong những năm gần đây liên quan đến nỗ lực phát hiện tài liệu lạm dụng tình dục trẻ em (CSAM) hoặc thậm chí hoạt động chải chuốt trên nền tảng nhắn tin.
Apple đã từ bỏ kế hoạch triển khai chức năng quét CSAM phía máy khách vào năm 2021 sau phản ứng dữ dội về quyền riêng tư. Tuy nhiên, các nhà hoạch định chính sách vẫn tiếp tục gây áp lực lên ngành công nghệ để tìm cách phát hiện hoạt động bất hợp pháp diễn ra trên nền tảng của họ. Do đó, bất kỳ động thái nào trong ngành nhằm xây dựng cơ sở hạ tầng quét trên thiết bị đều có thể mở đường cho tất cả các loại quét nội dung theo mặc định — cho dù do chính phủ chỉ đạo hay liên quan đến một chương trình thương mại cụ thể.
Phản hồi bản demo quét cuộc gọi của Google theo cách đăng bài trên XMeredith Whittaker, chủ tịch ứng dụng nhắn tin mã hóa Signal có trụ sở tại Hoa Kỳ, cảnh báo: “Điều này cực kỳ nguy hiểm. Nó đặt đường dẫn cho việc quét phía máy khách cấp thiết bị, tập trung.
“Từ việc phát hiện 'lừa đảo', đây là một bước ngắn để 'phát hiện các mẫu thường liên quan đến[ith] tìm kiếm sự chăm sóc sinh sản' hoặc 'thường liên quan đến w[ith] cung cấp tài nguyên LGBTQ' hoặc 'thường liên quan đến việc tố cáo nhân viên công nghệ.'”
Chuyên gia mật mã Matthew Green, giáo sư tại Johns Hopkins, cũng đưa đến X để nâng cao báo động. Ông cảnh báo: “Trong tương lai, các mô hình AI sẽ thực hiện suy luận về tin nhắn và cuộc gọi thoại của bạn để phát hiện và báo cáo hành vi bất hợp pháp”. “Để dữ liệu của bạn được chuyển qua các nhà cung cấp dịch vụ, bạn cần phải đính kèm bằng chứng không có kiến thức rằng quá trình quét đã được tiến hành. Điều này sẽ chặn các khách hàng đang mở.”
Green cho rằng tương lai đen tối của việc kiểm duyệt này theo mặc định chỉ còn vài năm nữa là có thể thực hiện được về mặt kỹ thuật. “Chúng ta còn cách một khoảng thời gian ngắn để công nghệ này đủ hiệu quả để hiện thực hóa, nhưng chỉ trong vài năm nữa thôi. Nhiều nhất là một thập kỷ,” ông gợi ý.
Các chuyên gia về quyền riêng tư và bảo mật châu Âu cũng nhanh chóng phản đối.
Phản ứng với bản demo của Google trên XLukasz Olejnik, một nhà nghiên cứu và tư vấn độc lập có trụ sở tại Ba Lan về các vấn đề riêng tư và bảo mật, hoan nghênh tính năng chống lừa đảo của công ty nhưng cảnh báo cơ sở hạ tầng có thể được sử dụng lại cho mục đích giám sát xã hội. “[T]của anh ấy cũng có nghĩa là các khả năng kỹ thuật đã hoặc đang được phát triển để giám sát các cuộc gọi, tạo, viết văn bản hoặc tài liệu, chẳng hạn như để tìm kiếm nội dung bất hợp pháp, có hại, gây thù hận hoặc không mong muốn hoặc bất chính – theo tiêu chuẩn của ai đó,” anh đã viết.
“Đi xa hơn, một mô hình như vậy có thể hiển thị cảnh báo. Hoặc chặn khả năng tiếp tục,” Olejnik tiếp tục nhấn mạnh. “Hoặc báo cáo nó ở đâu đó. Điều chế công nghệ của hành vi xã hội, hoặc tương tự. Đây là mối đe dọa lớn đối với quyền riêng tư cũng như đối với một loạt các giá trị và quyền tự do cơ bản. Các khả năng đã có sẵn rồi.”
Làm rõ hơn mối lo ngại của mình, Olejnik nói với TechCrunch: “Tôi chưa xem chi tiết kỹ thuật nhưng Google đảm bảo rằng việc phát hiện sẽ được thực hiện trên thiết bị. Điều này rất tốt cho quyền riêng tư của người dùng. Tuy nhiên, có nhiều thứ đang bị đe dọa hơn là quyền riêng tư. Điều này nhấn mạnh cách AI/LLM tích hợp trong phần mềm và hệ điều hành có thể được sử dụng để phát hiện hoặc kiểm soát các hình thức hoạt động khác nhau của con người.
Điều này nhấn mạnh cách AI/LLM tích hợp trong phần mềm và hệ điều hành có thể được sử dụng để phát hiện hoặc kiểm soát các hình thức hoạt động khác nhau của con người.
Lukasz Olejnik
“Cho đến nay thật may là mọi chuyện đã tốt hơn. Nhưng điều gì sẽ xảy ra nếu năng lực kỹ thuật tồn tại và được tích hợp sẵn? Những tính năng mạnh mẽ như vậy báo hiệu những rủi ro tiềm ẩn trong tương lai liên quan đến khả năng sử dụng AI để kiểm soát hành vi của xã hội ở quy mô hoặc có chọn lọc. Đó có lẽ là một trong những khả năng công nghệ thông tin nguy hiểm nhất từng được phát triển. Và chúng ta đang đến gần điểm đó. Làm thế nào để chúng ta quản lý điều này? Có phải chúng ta đang đi quá xa không?”
Michael Veale, phó giáo sư về luật công nghệ tại UCL, cũng nêu lên bóng ma rùng rợn về chức năng lan truyền từ AI quét cuộc hội thoại của Google – cảnh báo trong một phản ứng đăng bài trên X rằng nó “thiết lập cơ sở hạ tầng để quét phía máy khách trên thiết bị cho nhiều mục đích hơn thế này, điều mà các cơ quan quản lý và lập pháp sẽ mong muốn lạm dụng.”
Các chuyên gia về quyền riêng tư ở Châu Âu có lý do đặc biệt để lo ngại: Liên minh Châu Âu đã đưa ra một đề xuất lập pháp quét tin nhắn gây tranh cãi kể từ năm 2022, mà các nhà phê bình – bao gồm cả Giám sát bảo vệ dữ liệu của chính khối – cảnh báo là đại diện cho một điểm bùng phát cho các quyền dân chủ trong khu vực vì nó sẽ buộc các nền tảng phải quét tin nhắn riêng tư theo mặc định.
Mặc dù đề xuất lập pháp hiện tại tuyên bố là bất khả tri về công nghệ, nhưng nhiều người dự đoán rằng luật như vậy sẽ dẫn đến việc các nền tảng triển khai chức năng quét phía máy khách để có thể phản hồi cái gọi là lệnh phát hiện yêu cầu họ phát hiện cả nội dung xâm hại tình dục trẻ em đã biết và chưa biết cũng như cũng nhận hoạt động chải chuốt trong thời gian thực.
Đầu tháng này, hàng trăm chuyên gia về quyền riêng tư và bảo mật đã viết một bức thư ngỏ cảnh báo kế hoạch này có thể dẫn đến hàng triệu kết quả dương tính giả mỗi ngày, vì các công nghệ quét phía máy khách có khả năng được các nền tảng triển khai theo lệnh pháp lý chưa được chứng minh. , có nhiều thiếu sót và dễ bị tấn công.
Google đã được liên hệ để trả lời những lo ngại rằng AI quét cuộc trò chuyện của họ có thể làm xói mòn quyền riêng tư của mọi người nhưng tại thời điểm báo chí, họ chưa phản hồi.
Chúng tôi đang tung ra một bản tin AI! Đăng ký đây để bắt đầu nhận nó trong hộp thư đến của bạn vào ngày 5 tháng 6.
