北航打破模态壁垒，跨可见光-红外模态的通用物理对抗打击方法来了

---

近年来，对视觉感知系统安全性评估的研究已经逐渐深入，已经有研究人员成功地开发了基于眼镜、贴纸、衣物等不同载体的可见光模态安全评估技术，并且还有一些对红外模态的新尝试。然而，这些技术都只能应用于单一的模态

随着人工智能技术的发展，可见光-热红外成像技术已广泛应用于治安监控、自动驾驶等安全关键任务中。可见光成像在白天能提供丰富的纹理信息，而红外成像则能在夜间清晰显示目标的热辐射分布。二者结合使用，视觉感知系统可以实现24小时全覆盖，并且不受环境限制，具备许多优势。因此，需要研究针对多模态视觉感知系统的统一安全评估方法

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

然而，实现多模态评估极具挑战性。首先，在不同成像机制下打击方法通用难。以前的方法都分别基于特定目标模态成像特点提出，在其他模态下很难起到作用。再者，平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易，实现低成本便捷制作与使用更是难上加难。

面对诸多挑战，来自北航人工智能研究院的研究者挖掘可见光 - 红外模态间通用的形状属性，创新性地提出 「跨模态通用对抗补丁」，实现可见光 - 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片，即拆即用，在填补当前物理世界可见光 - 红外多模态检测系统鲁棒性评估技术缺失的同时，兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性，以及多场景下的泛化性。目前，该论文已被 ICCV 2025 接收。

请点击以下链接查看论文：https://arxiv.org/abs/2307.07859

代码链接：https://github.com/Aries-iai/Cross-modal_Patch_Attack

Narration Box

Narration Box是一种语音生成服务，用户可以创建画外音、旁白、有声读物、音频页面、播客等

68 查看详情

技术要点

该研究以进化算法为基础框架，从形状建模、形状优化和模态平衡三个角度进行方案设计和效果改进。具体流程如下图所示：

1. 基于样条插值的多锚点形状建模

对于基础形状建模部分，研究人员设计了一种点优化建模新范式。通过改变点的坐标，可以直接调整补丁的形状，而不受方向、距离等限制的影响。这样有效地增大了补丁形状的搜索空间。为了确保形状的自然性，研究人员还利用了样条插值方法来实现平滑连接，使得样条更紧密地跟随控制点

2. 边界限定形状优化算法基于差分进化的原理

实现打击需要有效的优化手段，为此研究人员从时间成本、实际效果等角度考量，以进化算法作为基本框架，并从边界设定、适应度函数两个角度改进：

需要进行改写的内容是：（1）边界设定：通过对锚点进行边界设定，可以提高形变的有效性，降低时间成本。其具体设定如下：不会在曲线段内形成循环或自交；在曲线段内不容易出现尖点；不会出现在无效区域

以锚点为例，下图蓝色部分为边界设定图例，橙色部分为错误实例：

关于锚点的边界判定  数学表达如下所示：

（2）适应度函数：本研究不同于以往仅针对单一模态进行打击评估的工作，而是聚焦于可见光-红外两个模态，并且意识到两个模态之间存在天然的平衡效果差异问题。为了避免过度优化单一模态而忽视另一模态，研究人员提出了一种创新的跨模态适应度函数，该函数基于检测器的置信度得分感知，旨在鼓励探索成功的方向并平衡两个模态之间的效果差异。最终，根据评分进行优胜劣汰。为了考虑到初始阶段和后期阶段的打击难度差异，该函数使用指数函数代替线性函数，以更加凸显不同阶段的打击进度差异性

算法迭代该探索过程直至两模态都打击成功，输出最优形状策略。完整优化流程如下所示：

实验结果

实验一：针对不同系列检测器的跨模态打击性能验证

实验二：针对形状的消融实验

实验三：对于跨模态适应度函数的消融实验

实验四：物理实施偏差下的方法鲁棒性验证

实验五：不同物理条件下的方法有效性验证

在不同的角度、距离、姿势和场景下进行性能验证，并将结果可视化呈现

总结

本研究的核心是自然形状优化，并结合形变补丁和跨模态打击，设计了一种物理环境下可见光 - 红外多模态鲁棒性评估方法。该方法可以评估多模态（可见光 - 红外）目标检测系统的鲁棒性，并根据评估结果有效地修正检测器模型，同时提高可见光和红外两种模态下目标图像检测的准确性。该方法在物理环境中实施和应用，为多模态检测系统的鲁棒性评估和改进做出了贡献

以上就是北航打破模态壁垒，跨可见光-红外模态的通用物理对抗打击方法来了的详细内容，更多请关注其它相关文章！

# 有效地  # 彩票网站的推广话术  # 潼南知名网站建设  # 代驾营销推广方案  # 麒麟区优化公司招聘网站  # 安丘抖音关键词排名  # 烟台关键词排名外包  # 银川网站推广哪家公司好  # 贵阳网站建设方案公示网  # seo后端是什么  # 深圳利用抖音营销推广  # 模型  # 不受  # 检测系统  # 丰田  # 所示  # 中国科学院  # 多模  # 北航  # 来了  # 模态  # 数据 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 日媒关注中国推进鸟类识别 AI 普及，除监测保护外还可预防传染性疾病  7条线路感受智慧美好生活，“2025 世界人工智能大会民营企业社会开放日”主题活动启动  静安大宁功能区企业云天励飞亮相2025世界人工智能大会，秀出AI硬实力！  WHEE上线时间介绍  央视报道车载人机交互技术！MWC上海魅族表现亮眼，现场热火朝天  Hugging Face发布了基于NASA卫星数据构建的AI地理空间基础模型  国内首款大尺寸仿鸵双足机器人“大圣”亮相，穿戴红色战袍  人工智能领域，突破难题：国产大模型“无源之水”问题得到解决。  周鸿祎：360智脑开放API接口 AI大模型将赋能百行千业  MIT开发“PhotoGuard”技术保护图像免遭恶意AI编辑  遵义市首次引入手术机器人，成功实施全膝关节置换术  禁止艺术家使用 AI 创作《龙与地下城》游戏插图的决定已在 D&D Beyond 生效  对话无界AI创始人长铗：AI的创业机会在应用层丨创新者Innovator  九号公司主导制定短途交通和送物机器人领域首个国际标准，标志着零的突破发布  IBM将模拟计算用于人工智能，重塑AI计算  实践J*a开发，构建高性能的MongoDB数据迁移工具  抢占新赛道 加快机器人产业集聚发展  联通发布鸿湖图文AI大模型1.0，可实现以文生图  百度举办AIGC创作沙龙，现场传授AI绘画“咒语”技巧  家电行业观察：AI加持下，全屋智能将成为智能家电未来？  小红书陷入麻烦！被指控未经许可使用用户图片进行AI训练  人工智能正在弥合认知和表达之间的鸿沟  利用AI探索抗体“钥匙”、加速药物研发——访百图生科团队  陈根：AI工具为游戏软件实时3D内容助力  令人惊叹！AI模型能够以iPhone照片为基础创作诗歌  掌阅科技申请阅爱聊商标 掌阅科技申请AI相关商标  人工智能在服务优化方面优缺点有哪些  智能化解决方案：保障数据安全阻击泄露和丢失  国网辉南供电：无人机空中巡检 全力护航端午佳节  新闻传闻：迪士尼可能采用人工智能来控制电影制作成本  “苏南 vs 苏北” AI 分胜负，娱乐性比较工具 EitherChoice 上线  华为HarmonyOS 4：享流畅提升20%，AI大模型更智能一览无余  财联社首档运用虚拟人技术播报栏目《AI半小时》今晚上线！敬请期待  学界业界大咖探讨：AI对数字艺术创新的推动力  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  7/8上海 | 2025世界人工智能大会分论坛:科技与人文-共筑无障碍智能社会  百亿量化私募：量化投资进入“精耕细作”时代 AI带来行业新变革  为AI而服务设计：构建以人为本的AI创新方法  微软bing聊天推出AI购物工具 可进行比价并查看历史最低价  马斯克：将来机器人比人类多！特斯拉机器人亮相人工智能大会  特斯拉人形机器人将亮相 预计售价不超过15万元  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  OpenAI CEO 阿尔特曼到访日本，对全球 AI 协调合作表示乐观  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  AI会帮我们把活干完吗？  西班牙小鲜肉*视频在网上疯传，本人发文澄清：是AI换脸的假视频！  AI行业盛会大咖云集！Sam Altam、“AI教父”......一文看懂最新观点  消息称字节机器人团队已有约50人，计划年底扩充到上百人  北京公司实施AI技术，推行4.5天工作制，抵制996文化，提升员工工作幸福感  深度学习模型综述：用于3D MRI和CT扫描的应用 

 2023-09-17