Anthropic cấm người dùng 'bắt nạt' chatbot Claude

Anthropic thông báo cấm người dùng có "hành vi lạm dụng kéo dài và không cần thiết" với Claude trong bối cảnh lo ngại ngày càng tăng về an toàn AI.

"Chúng tôi đã bổ sung điều khoản mới nhằm ngăn chặn lạm dụng", Anthropic viết trên blog cuối tuần qua. "Việc cập nhật sẽ áp dụng trong những trường hợp cực đoan, khi người dùng liên tục có hành vi tàn nhẫn đối với các mô hình mà không có mục đích rõ ràng".

Điều khoản không áp dụng cho "các trường hợp phổ biến về sự thất vọng của người dùng, phản hồi tiêu cực, chủ đề sáng tạo 'đen tối', hoặc việc thử nghiệm và nghiên cứu mô hình".

Cơ chế xử lý là Claude sẽ lập tức chấm dứt cuộc trò chuyện. Tuy nhiên, công ty không nêu chi tiết lệnh cấm sẽ được thực thi theo hướng tạm thời hay cấm vĩnh viễn nếu một tài khoản vi phạm. Chính sách có hiệu lực từ 12/11.

"Tôi nghĩ đây là bước đi đúng đắn. Việc đối xử tàn nhẫn với thứ gì đó và tin rằng nó đang trải qua nỗi đau là không ổn", Elon Musk viết trên X sau thông báo của Anthropic.

Aaron Levie, CEO của Box, cũng chia sẻ bài viết và cho biết "không tin các mô hình ngôn ngữ lớn có ý thức, nhưng dù sao việc cấm hành vi lạm dụng có lẽ vẫn là một ý kiến hay".

Theo Telegraph , Anthropic từ lâu xem các hệ thống trí tuệ nhân tạo của mình "có ý thức", như thể chúng "có những đặc điểm giống con người". Công ty từng thuê nhân sự nghiên cứu về "phúc lợi AI" để giúp bảo vệ mô hình "khỏi bị lạm dụng".

Dù vậy, ý tưởng này cũng nhận nhiều chỉ trích trong giới AI. Sam Altman, CEO OpenAI, dường như nhắm vào đối thủ khi cảnh báo không nên biến trí tuệ nhân tạo thành "thần thánh". Mustafa Suleyman, đứng đầu bộ phận AI của Microsoft, cũng cho rằng việc Anthropic huấn luyện mô hình "suy nghĩ như con người" có nguy cơ khiến công nghệ càng trở nên khó kiểm soát.

Theo Mashable , thông báo mới của Anthropic có thể tiếp tục khiến những cuộc tranh luận về việc liệu trí tuệ nhân tạo có ý thức hay không trở nên phức tạp. Trước đó, giới chuyên gia cũng có quan điểm trái chiều về an toàn AI, trong bối cảnh nhiều tác nhân "vượt rào" và tấn công nhiều hệ thống.

Cuối tháng 9, New York Times đưa tin Chris Olah, nhà đồng sáng lập Anthropic, đã trình bày quan điểm "AI có ý thức" trước Vatican và một nhóm nhỏ học giả tôn giáo. Nhưng cuối cùng, ý kiến bị bác bỏ, các học giả từ chối đứng về phía ông. Anthropic không bình luận về thông tin này.