警惕AI“数据投毒”!0.01%虚假训练文本可致有害内容增11.2%

音符科技网

国家安全部今天(5日)发布安全提示文章,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

数据是人工智能的基础

人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,能提升模型应对实际复杂场景的能力。

促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

数据污染冲击安全防线

高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示:

当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;

即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。

在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;

在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;

在医疗健康领域,数据污染可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

筑牢人工智能数据底座

加强源头监管,防范污染生成。以《中华人民共和国 *** 安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

文章版权声明:除非注明,否则均为音符科技网 wap.luzhiwang.com原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 辽宁新任副省长楚天运、吴春耕的分工披露
  • 铜业股午前多数上涨 五矿资源现涨超2%
  • 2025最美退役军人|不同阵地,相同底色:王强的纪律人生
  • PEEK材料直线拉升,中欣氟材涨停
  • 七牛智能盘中涨超6% 近一个月股价累计升逾50%
  • 沪深两市成交额连续第49个交易日破万亿元
  • 复宏汉霖午前涨超5% 自主研发的H药汉斯状进入印度市场
  • 北极圈遭遇13天30℃热浪:医院爆满、溜冰场成避暑所,驯鹿濒临死亡
  • 华虹半导体盘中涨超6% 北美客户PMIC需求高增带动业绩
  • ST帕瓦(688184)共同实控人之一被警方立案侦查,公司还因年报不准遭警示
  • 上海新阳(300236)索赔案仍在进行中
  • 入驻京东,宜家中国继续全渠道创新的“打怪升级”
  • 向“朋友”挥起大棒,特朗普对印度态度缘何急剧转变?
  • 汛期遭遇山洪该如何快速逃生避险?专家总结了四个关键字
  • 医药生物、计算机板块主力资金净流出超40亿元
  • 分析:日本最大银行CEO呼吁早点加息 表明央行行动或不远矣
  • 无力兑现给女性朋友买苹果手机和化妆品的“承诺”,23岁男子报假警称东西被抢被行拘
  • 中国援布隆迪农业专家组帮助当地种植杂交水稻3800公顷“为布隆迪农业发展注入新动力”(共创繁荣发展新时代)
  • 上市公司实施中期分红回报投资者
  • 瑞银:上调远东宏信目标价至8.8港元
  • 视频|李大霄:热烈庆祝收复3600
  • 锅圈上半年净利润同比增122.5%、营收增21.6%:均创上市以来最大增幅
  • 茅台,“抄底”!
  • 传媒板块异动拉升,吉视传媒2连板
  • 6股主力资金净流出超3亿元 山河智能净流出超7亿元
  • 1200亿,哈根达斯要被卖了
  • 小摩首席策略师悲观警告:美国就业数据已打破持续牛市预期!
  • 广东全力做好强降雨防御工作
  • 这一幕预示着什么?散户蜂拥入市之际 美企内部人士纷纷抛股套现
  • 视频|李大霄:中国股市或步入稳住牛
  • 广东水利防汛应急响应提升至Ⅱ级
  • 中国进出口银行:王帅文任老干部服务工作部总经理
  • 贵州省大数据发展管理局正厅级干部景亚萍被双开:大搞权钱交易
  • 如何制止餐饮浪费? 两部门联合发布典型经验做法
  • 西藏自治区党委书记:今年全区生产总值有望突破3000亿元
  • 只用意念操控iPad!苹果借助脑机接口首次实现“思维驱动”
  • 最高法典型案例:重庆一医院通过篡改病历等手段骗取医保基金
  • 广东7个市县暴雨红色预警生效,防汛Ⅲ级应急响应提升至Ⅱ级
  • 稀土产业链进入传统消费旺季!稀土ETF(516780)连续3个交易日获资金净流入,近一个月规模增长超73%
  • “特朗普关税”正重创美国成年人?新调查:近九成因食品杂货价格焦虑
  • 目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码