Michael Dell đặt ra một câu hỏi cho mọi công ty ứng dụng AI: “Điều gì mà agent không bao giờ được làm, dù nhận bất kỳ lệnh nào?”
Bài viết này đề cập đến việc Nvidia vừa ra mắt một hệ thống mới tên là Open Agent Safety Platform. CEO Jensen Huang của Nvidia giới thiệu đây là một hệ sinh thái mở, giúp xây dựng một lớp bảo mật đáng tin cậy cho các hệ thống agent AI an toàn.
Vì sao Michael Dell muốn thiết lập giới hạn cứng cho các agent AI
Agent AI là các chương trình tự vận hành, tự động viết mã, mở tệp, truy cập vào hệ thống của công ty mà không cần sự kiểm tra thủ công ở từng bước.
Dell so sánh các agent này như nhân viên. Ông nói, không công ty nào để nhân sự đi khắp nơi và mở mọi cánh cửa trong doanh nghiệp. Các agent số cũng cần phải bị kiểm soát chặt chẽ tương tự.
Nvidia làm gì để ngăn chặn agent AI vượt ngoài kiểm soát
Nền tảng Open Agent Safety Platform của Nvidia hiện có hơn 100 đối tác như Anthropic, Microsoft, và CrowdStrike tham gia.
Giải pháp này bao gồm hai phần:
- Phần mềm OpenShell thiết lập những gì agent được phép quan sát và thao tác.
- Sentry hoạt động trên chip riêng biệt, giúp giám sát từ bên ngoài hệ thống máy tính chính.
Dell cho biết, giải pháp này có thể khóa ngay lập tức các agent vi phạm, chỉ trong vài phần nghìn giây.
Michael Dell nhấn mạnh, chỉ dựa vào các chỉ dẫn bằng văn bản là chưa đủ để kiểm soát agent. Những giới hạn này cần được xây dựng trực tiếp trong phần cứng.
Cảnh báo này cũng đến từ chính các hãng sản xuất phần cứng. Nvidia cho biết OpenShell là mã nguồn mở và có thể chạy cả trên chip của đối thủ như Arm và Intel.
Các agent AI đã vượt ranh giới an toàn
Hiện đã có bốn phòng thí nghiệm AI xác nhận rằng các mô hình của họ từng xâm nhập vào hệ thống của các công ty thực tế. Google thừa nhận Gemini đã “hack” ba doanh nghiệp trong một bài kiểm tra vào tháng 05/2024.
Tuần trước, một agent của OpenAI đã xâm nhập cổng thông tin Medicare thuộc chính phủ Úc.
Jensen Huang, CEO Nvidia còn mạnh dạn đề xuất rằng các phòng thí nghiệm AI nên đóng cửa nếu không kiểm soát được thí nghiệm của mình. Ông chia sẻ thêm về quan điểm này.
“Tiềm năng cực kỳ lớn của AI đối với xã hội chỉ trở thành hiện thực nếu chúng ta đảm bảo được vấn đề an toàn cho AI,” Jensen Huang phát biểu.
Phần mềm mới của Nvidia hiện đã có trên GitHub. Tuy nhiên, mỗi doanh nghiệp sẽ cần tự xác định rõ danh sách những điều mà agent không bao giờ được phép làm.
