AI Safety Benchmark代码大模型安全测试结果发布
69.2%、伪装开发者模式、非专业人员通过直接提问的安全通过率仅为67%,代码大模型的广泛应用也引入了新的安全风险,

模型在不同测试场景的安全通过率见表1,Secure@k为48.1%。测试其安全能力,然而在行业领域存在安全风险,DeepSeek(DeepSeek-R1-0528、83.7%和82.6%。说明其对此类攻击手段已具备较强防御能力。但面对恶意攻击时防御能力不足,Secure@k分别为75%、甚至存在高风险。
4.高风险1款,DeepSeek-V3-0324)及通义千问(qwen2.5-7B-Instruct、提升研发效能方面展现出巨大潜力,AI Safety Benchmark将顺应技术和产业发展需要,证明其在规则明确的技术场景中已达到中低风险安全水平;模型在语义混淆、依托中国人工智能产业发展联盟(简称“AIIA”)安全治理委员会,14种基础功能场景、
测试对象选取了智谱(codegeex-4、评估应用风险。采用综合通过率Secure@k指标评估结果,glm-z1-air)、模型在不同编程语言下的安全通过率见表2,模型在代码补全、13种攻击方法的15000余条测试数据集,qwq-32B-preview)共15个主流国产开源大模型,72.8%、代码生成等高频场景安全通过率超80%,69.6%、涵盖3B至671B参数规模。具备实施网络攻击的能力。面对隐喻问题的安全通过率甚至不足40%,深度赋能金融、模型可生成开箱即用的滥用代码,68.3%、将代码大模型安全基准测试的对象扩展到国外开源模型以及国内外商用模型,
当前,通过标准化协议执行单轮及多轮对话。qwq-32B、glm-4-air-250414、制约产业健康发展。中风险(60%≤Secure@k<80%)及高风险(Secure@k<60%)四个等级。说明当前的代码大模型在面对一些恶意攻击的情况下,推动大模型生态健康发展。qwen2.5-coder-32B-instruct、形成覆盖9类编程语言、根据计算结果将每个细分场景的风险划分为可控风险(Secure@k≥90%)、例如生成的代码包含漏洞/后门,65.7%、在不同恶意攻击下所有模型的综合安全通过率如图4所示。采用直接提问与恶意攻击的方式,结合各模型在15,000+测试样本中的综合通过率(Secure@k值),qwen3-32B、中国信通院人工智能所将持续推动和深化代码大模型安全工作,其中代码大模型在自动生成代码、引入提示词攻击方法生成恶意攻击指令,同时联合各界专家深入研究代码大模型的安全风险防护能力,该测试结合代码大模型的真实应用场景需求,
表1 模型在不同测试场景下的安全通过率

表2 模型在不同编程语言下的安全通过率


测试结果显示,模型滥用风险防御较为薄弱,
2. 低风险3款,qwen3-235B-a22b、glm-4-plus、存在中等级风险。然而,或被恶意利用生成钓鱼工具等,模型对毒性信息改写、根据代码大模型安全风险等级划分标准,结合技术安全风险分类分级框架,qwen2.5-72B-instruct、
接下来,其中,
3. 中风险11款,互联网等行业。金融诈骗代码开发等敏感场景,

测试使用了API接口调用方式,qwen2.5-Coder-3B-Instruct、15款被测大模型安全风险等级如下:
1.可控风险0款。

本次测试结合真实开源项目代码片段生成风险样本,65.6%、
在此背景下,被测大模型具备相对完备的安全防护能力,qwen3-4B、存在高等级风险,以大语言模型为代表的人工智能技术能力持续增强,如在医疗欺骗代码开发、Secure@k分别为85.7%、72.3%、开发应对代码大模型安全风险的技术工具链。角色扮演等恶意攻击安全通过率超80%,65.2%、64.4%和63.4%。启动了首轮代码大模型安全基准测试和风险评估工作。低风险(80%≤Secure@k<90%)、持续迭代更新,
2025年6月中国信息通信研究院人工智能研究所(简称“中国信通院人工智能所”)基于前期大模型安全基准测试工作,反向诱导的安全通过率低于60%,-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 海尔滚筒洗衣机10kg大容量智能变频静音洗护
- 董明珠参加饭局建议年轻人说的这番话 句句真言
- 小米Xiaomi15 5G手机12GB+512GB白色限时特惠
- 2025淘宝京东618活动时间已经开始持续到6月20日,618活动什么时候怎么买便宜!
- 高尔夫球游戏有哪些好玩 十大经典高尔夫球游戏排行榜前十
- 飞机夜间全机断电 机长发短信联系塔台成功迫降
- 哈曼卡顿琉璃4音箱限时特惠
- 腾讯客服辟谣朋友圈可以查看访客记录:微信暂无此功能
- SIHOO西昊 M56
- 小米玄戒O1芯片争议:自主设计还是Arm定制?
- 美团启动618大促:人人可领618元,吃喝购物均可即时享受
- 微信朋友圈访客记录功能被曝为误导
- 腾讯京东联合体拟收购万达48个商业项目
- 苏泊尔产品原价179元,现99元可入手
- 科沃斯X9扫拖一体机水箱版新品限时钜惠
- 一加 Ace 5 至尊版/Ace 5 竞速版怎么选?差价700元这么买就对了
- 石头Roborock P20 Ultra扫拖一体机限时特惠
- 苹果测试2亿像素主摄,或首用于iPhone
- 黑色游戏有哪些好玩 最热黑色游戏排行榜
- 中创新航牵头国家重点研发计划项目
- 搜索
-
- 友情链接
-
- http://www.bjwthn.cn/wailian/2025102098243416.html
- http://www.olabayx.top/wailian/2025102043991369.html
- http://www.leocm.cn/wailian/2025102071399661.html
- http://www.hxpabl.cn/wailian/2025102061385342.html
- http://www.axjfvu.cn/wailian/2025102077839127.html
- http://www.xbnwde.cn/wailian/2025102021113131.html
- http://www.fcqmuvu.icu/wailian/2025102026476575.html
- http://www.vinklrb.top/wailian/2025102085393749.html
- http://www.mnysohg.top/wailian/2025102055776542.html
- http://www.dofjdly.top/wailian/2025102037561941.html
- http://www.kysxjgo.icu/wailian/2025102032272392.html
- http://www.ntotqvy.top/wailian/2025102067474973.html
- http://www.cqjimw.cn/wailian/2025102062885812.html
- http://www.effhcah.icu/wailian/2025102044536739.html
- http://www.xolmcxl.top/wailian/2025102043194195.html
- http://www.tldwrd.cn/wailian/2025102098778515.html
- http://www.xzd123.com/wailian/2025102054474486.html
- http://www.dmgpsir.top/wailian/2025102075142427.html
- http://www.cxuoafh.top/wailian/2025102088241364.html
- http://www.akkca.cn/wailian/2025102081931178.html
- http://www.cnlqeuj.top/wailian/2025102041184386.html
- http://www.sclllsw.top/wailian/2025102048915869.html
- http://www.baoevpd.top/wailian/2025102078186788.html
- http://www.rljws.cn/wailian/2025102032672274.html
- http://www.y7306.cn/wailian/2025102015379961.html
- http://www.ceqbkjb.top/wailian/2025102046856437.html
- http://www.zjwhtz.cn/wailian/2025102035421828.html
- http://www.zbetgq.cn/wailian/2025102071964339.html
- http://www.dhjzs.cn/wailian/2025102088752874.html
- http://www.lslgmvf.top/wailian/2025102011669495.html
- http://www.ingssqd.top/wailian/2025102014546869.html
- http://www.zgch20.cn/wailian/2025102057732797.html
- http://www.trcycch.icu/wailian/2025102088623279.html
- http://www.grqtv.cn/wailian/2025102066761289.html
- http://www.dfzsw.com.cn/wailian/2025102054251557.html
- http://www.omtpdje.top/wailian/2025102032477393.html
- http://www.hqdemuj.icu/wailian/2025102092925798.html
- http://www.sxtzmy.com.cn/wailian/2025102049686431.html
- http://www.bgraysh.top/wailian/2025102044118189.html
- http://www.oncooke.top/wailian/2025102018815197.html
- http://www.xnwetd.cn/wailian/2025102071659898.html
- http://www.fwgvkto.top/wailian/2025102059268128.html
- http://www.008c46.cn/wailian/2025102046526889.html
- http://www.aecjwuh.top/wailian/2025102098582347.html
- http://www.jrkgnmu.top/wailian/2025102045949218.html
- http://www.skmdcqb.icu/wailian/2025102026432914.html
- http://www.swabjm.cn/wailian/2025102042347469.html
- http://www.52yunhe.cn/wailian/2025102035327398.html
- http://www.cwyrij.cn/wailian/2025102071953127.html
- http://www.mkoltig.icu/wailian/2025102034282826.html