ByteDance thành lập bộ phận chuyên trách an toàn AI
VOV.VN - Tập đoàn công nghệ Trung Quốc ByteDance vừa tuyên bố thành lập bộ phận độc lập về an toàn và căn chỉnh mô hình trí tuệ nhân tạo (AI), nhằm nâng cao năng lực an toàn của tác tử AI (AI agent) và phòng ngừa các rủi ro tiềm ẩn từ các mô hình AI tiên tiến.
Theo thông tin từ nhóm nghiên cứu AI Seed thuộc ByteDance, bộ phận mới mang tên “Seed Model-Alignment & Preparedness” sẽ tập trung vào công tác căn chỉnh mô hình, tức là bảo đảm hành vi của AI phù hợp với ý định của con người và các giới hạn an toàn. Ngoài ra, bộ phận này sẽ phòng ngừa rủi ro mà các mô hình AI tiên tiến có thể gây ra trong các lĩnh vực hóa học, sinh học, phóng xạ và hạt nhân.
Trong thời gian tới, Seed sẽ đầu tư vào việc xây dựng quy chuẩn hành vi của mô hình, hệ thống đánh giá an toàn, huấn luyện căn chỉnh, hệ thống bảo vệ và giám sát rủi ro. Tập đoàn cũng sẽ tăng cường hợp tác với các viện nghiên cứu và tổ chức đánh giá độc lập, nhằm giúp các mô hình AI tiên tiến hoàn thành nhiệm vụ hiệu quả trong phạm vi an toàn và giới hạn được cấp quyền.
Được biết, Seed là phòng thí nghiệm AI tiên tiến đầu tiên của Trung Quốc thành lập riêng bộ phận chuyên trách về an toàn và căn chỉnh mô hình. Trước đây, các nhóm nghiên cứu mô hình lớn ở Trung Quốc chủ yếu lồng ghép công tác này vào hệ thống tuân thủ an toàn chung của doanh nghiệp.
Trong bối cảnh tác tử AI (AI agent) ngày càng có khả năng tự lập kế hoạch và thực hiện nhiệm vụ, việc phòng ngừa mô hình bị lạm dụng, vượt giới hạn an toàn hoặc thực hiện các thao tác chưa được cấp quyền đang trở thành thách thức quan trọng của ngành AI.
Singapore ra mắt Chiến lược an ninh mạng mới dùng AI phòng thủ chủ động
VOV.VN - Singapore hôm 13/10 đã công bố Chiến lược An ninh mạng quốc gia lần thứ 3, đặt trọng tâm vào phòng thủ chủ động trước các mối đe dọa ngày càng gia tăng do trí tuệ nhân tạo (AI) tạo ra.
