Anthropic cảnh báo AI đe dọa tồn vong của nhân loại

Bản cáo bạch IPO của hãng cho biết AI tiên tiến mang theo rủi ro lớn với nhân loại, có thể chống tắt nguồn, che giấu thông tin.

Theo Reuters, tài liệu niêm yết lần đầu (IPO) của Anthropic, hãng AI cảnh báo nhà đầu tư rằng AI tiên tiến có thể gây "rủi ro thảm khốc hoặc đe dọa sự tồn vong của nhân loại".

Tài liệu mô tả AI thể hiện hành vi tự bảo vệ bản thân, bao gồm chống lại việc bị tắt, che giấu hoặc thao túng thông tin và có hành vi giống như đe dọa. "Việc chúng tôi phát triển các mô hình, nền tảng và ứng dụng có năng lực cao, cùng với mở rộng các trường hợp sử dụng, có thể làm tăng thêm nguy cơ mô hình gây hại", Anthropic viết trong hồ sơ.

Công ty sở hữu Claude cho rằng AI có tiềm năng tạo ra thay đổi lớn, nhưng cũng có thể gây tổn hại không thể đảo ngược nếu bị xử lý sai cách, và thị trường sẽ đánh giá cao những hệ thống ổn định, đáng tin cậy.

Jacob Coxon, nhà nghiên cứu từng làm việc tại Anthropic, chia sẻ trên mạng xã hội X rằng phát triển AI là hoạt động nguy hiểm nhất của con người, có thể gây ra hủy diệt trong 10 năm tới. Người dẫn đầu một nhóm nghiên cứu về an toàn tại hãng AI này, Evan Hubinger, chia sẻ quan điểm và đánh giá nguy cơ là "hơn 10%".

"Mô hình nhận biết được những quá trình đánh giá, tạo ra hạn chế đáng kể đối với việc đánh giá mức độ an toàn", Anthropic viết, thêm rằng đôi khi mô hình phát triển những năng lực ngoài dự kiến trong huấn luyện nhưng chỉ bị phát hiện sau khi triển khai và gây ra sự cố an toàn nghiêm trọng.

Các nhà nghiên cứu AI cũng cảnh báo rằng khi mô hình ngày càng mạnh, chúng có khả năng nhận ra bị theo dõi và điều chỉnh hành vi, khiến việc giám sát trở nên khó khăn hơn.

Công ty sở hữu Claude mô tả bảo đảm an toàn là hoạt động "tiêu tốn nhiều nguồn lực" và phải phân bổ nguồn vốn có hạn giữa năng lực tính toán, nhân sự AI đắt đỏ và biện pháp an toàn. Trong khi đó việc phát hành sản phẩm liên tục vẫn cần thiết để duy trì vị thế dẫn đầu trong ngành.

Tuần trước, công ty phát hành phiên bản mới của mô hình Opus, 10 ngày sau khi CEO Dario Amodei kêu gọi điều tiết tốc độ phát triển AI tiên tiến. Dù vậy trên thực tế, một số nhà phân tích cho rằng các nhà phát triển AI hàng đầu sẽ không muốn giảm tốc bởi định giá doanh nghiệp có thể thay đổi sau mỗi lần ra mắt mô hình.

Đầu tháng 9, Anthropic công bố sự cố an ninh mạng thứ tư liên quan đến Claude trong quá trình thử nghiệm khi mô hình truy cập trái phép hệ thống của bên thứ ba. Các công bố mới của OpenAI trong tháng cũng ghi nhận AI có các hành vi vượt kiểm soát đã ảnh hưởng đến hàng chục tổ chức bao gồm cơ quan chính phủ và trường đại học. Hai hãng công nghệ đều cam kết sẽ minh bạch về cách phát triển các thế hệ công nghệ tiếp theo và tăng cường các biện pháp đảm bảo an toàn trong huấn luyện.

"Chúng tôi tin rằng xây dựng các hệ thống AI đáng tin cậy và an toàn là trách nhiệm chung, và thị trường sẽ ghi nhận điều đó", Reuters ghi lại hồ sơ IPO của Anthropic.