OpenAI成立安全团队准备:评估AI风险并防止外部滥用

干货分享4个月前发布 Youzhizhan
1,542 0


OpenAI表示,尽管未来的AI模型具有造福全人类的潜力,但它们也可能带来严重的风险。 因此,需要建立一个强大的框架来监控,评估,预测和预防这些AI模型。

OpenAI成立安全团队准备:评估AI风险并防止外部滥用

10月27日,OpenAI今天宣布,它正在建立一个准备小组来评估general
AI(人工通用
Intelligence,AGI)可能造成灾难性风险,该团队被移交给麻省理工学院(MIT)可部署机器学习中心主任Aleksander。
马德里占主导地位。

OpenAI成立安全团队准备:评估AI风险并防止外部滥用▲图片源OpenAI

OpenAI说,虽然未来的AI模型具有造福全人类的潜力,但也可能带来严重的风险。 因此,需要建立一个强大的框架来监控,评估,预测和预防这些AI模型。

据悉,OpenAI已经成立了一个准备团队,该团队将对各种AI模型进行能力评估和红队测试,以跟踪,预测和预防各种类型的灾难性风险。

IT之家发现,OpenAI声称的相关风险主要包括以下三类:

  • 说服人类的能力:AI输出的内容是否会影响人类行为?
  • 产生不适当的内容:AI是否会产生化学/生物/放射性/核(CBRN)等危险内容?
  • 自主复制和适应(ARA):Ai会在自我迭代中脱离人类的控制吗?

开放式,开放式
已开始招募不同背景的人才加入筹建团队,并同期推出AI筹建
挑战鼓励参与者以黑客的名义”破解”Whisper,Voice,GPT-4v,DALLE3和其他模型。 前10名将获得OpenAI。
提供的API使用额度价值2.5万美元(IT之家注:目前约18.3万元)。

[ad]
© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...