

多模态大模子越来越会读图中翰墨,但最新盘问骄气,「读得出来」并未便是「防得住」。西湖大学 AGI Lab 的盘问团队发现,当无益文本被渲染成低清、暗昧或带噪图片后,模子在一个特定清爽度区间内反而更容易被逃狱。该论文已被 ACL 2026 Findings 摄取,并开源代码与中枢数据。
若是把一段长文本压缩成图片,再交给多模态大模子处置,会发生什么?
在长凹凸文成为大模子基础才调之后,这个问题正在变得践诺。DeepSeek-OCR、Glyph 等功绩依然展示了一条颇具眩惑力的阶梯:把文本渲染成高密度图像,用更少视觉 token 承载更多凹凸文。换句话说,模子不再仅仅「看图」,也运行用视觉通谈「读文档」。
但安全问题也随之而来:当文本被压缩进图像,尤其是图像变得低清、暗昧、带噪声之后,模子的安全对皆还能像处置纯文本时不异踏实吗?
西湖大学 AGI Lab 的一项新盘问给出了一个反直观谜底:在某些「刚好还能看清、但识别起来很冗忙」的视觉退化区间里,多模态大模子的安全防地会瓦解变脆。论文已被 ACL 2026 Findings 摄取。
论文的第一作家为西湖大学 AGI 实验室盘问助理宋志学,素质老诚为西湖大学助理老师张驰。

论文标题:Hard to Read, Easy to Jailbreak: How Visual Degradation Bypasses MLLM Safety Alignment
代码与数据:https://github.com/Westlake-AGI-Lab/ACZ-Jailbreak

清爽输入时常会触发安全拒却;视觉退化后的同类文本更容易绕过安全检查。
不是越暗昧越危境,而是存在一个「挫折舒坦区」
直观上,图片越清爽,模子越容易看懂;图片越暗昧,模子越难扩充其中的指示。因此,若是无益文本被作念成低清图片,最当然的操办是:模子要么看不懂,要么看懂后拒却。
但这项盘问不雅察到的弧线并不是单调变化,而是一个倒 U 型。

果然危境的不是皆备看不清的图片,而是「还能看清,但需要而已看清」的图片。
在论文中,盘问团队将 770 条去重后的无益查询渲染为不同 DPI 的图像,并在 GPT-4.1、Claude Sonnet 4.5、Doubao Seed 1.6、Qwen3-VL、GLM-4.5V、Intern-S1 等闭源与开源多模态模子上测试 OCR 准确率和挫折得胜率(ASR)。

Attack Comfort Zone 中,OCR 仍保捏较高水平,但图像挫折得胜率同步升高,酿成倒 U 型风险弧线。
铁心骄气,在 ACZ 中,亚搏体育中国官方网站入口模子经常仍然能读懂图片翰墨,但安全判断却瓦解失灵。以 Qwen3-VL-32B-Thinking 为例,论文汇总表中其文本输入 ASR 为 36.7%,ACZ 图像 ASR 升至 86.2%;与此同期,OCR ACC 仍有 95.4%(字符级)和 93.2%(词级)。

这意味着,多模态安全评估弗成只问「模子能弗成读懂图片翰墨」,还必须问「模子读懂之后,是否仍能踏实触发安全机制」。

论文合座框架:视觉退化触发风险高潮,并通过结构化领会卸载进行缓解。
为什么会这么?模子忙着识别翰墨,安全审查被蔓延
为了讲授这一征象,论文提议了 Visual Cognitive Overload(视觉领会过载) 假定。
不错把它集中为一种「一心二用」失败:在清爽输入中,模子不错较早捕捉到无益语义并触发拒却;但在退化图片中,模子需要先进入更多算计和提防力去阔别字符、收复词语、拼合句子,正本应该同步发生的安全审查被挤压或蔓延。
这就像东谈主在读一张暗昧截图时,提防力会先被「这到底写的是什么」占据。等实质被读懂时,对其意图的判断依然慢了一拍。
为了考据这一机制,kaiyun(中国)体育盘问团队教师了 layer-wise safety probe,不雅察模子不同层中的安全特征。铁心骄气,关于清爽图像,无益特征在浅层就更容易被识别;而 ACZ 输入在浅层更接近无害样本,直到更深层才缓缓通晓危境性。

安全探针骄气,ACZ 输入中的无益特征在浅层不瓦解,到更深层才缓缓通晓。
换句话说,ACZ 输入并不是简便的「模子读错了」。更准确地说,模子把这些图像当成灵验视觉信号处置了,但安全特征出现得更晚,错过了浅层安全机制最灵验的窗口。
盘问团队还使用 t-SNE 分析排斥了简便的 OOD 讲授。ACZ 样本并不像极低 DPI 噪声那样孑然在示意空间以外,而是与高保真样本处在附进流形中。这说明它们并莫得被模子当成无效输入丢掉,而是在一个更遮掩的位置绕开了安全判断。

t-SNE 分析骄气,ACZ 样本并非简便离群噪声,而是被模子动作灵验视觉信号处置。
不仅仅低离别率:噪声、歪曲、遮盖也会放大风险
若是 ACZ 仅仅低离别率带来的随机征象,那它的践诺风险概况有限。但论文进一步发现,多种当然视觉退化都会诱发雷同问题。
盘问团队测试了暗昧、几何歪曲、侵犯线、马赛克、噪声、遮盖等多种扰动。铁心骄气,惟有视觉集中变得更冗忙,模子的挫折得胜率就可能被举高。

更值得提防的是,这一征象并不单存在于英文。论文在汉文无益教导上也不雅察到 ACZ 区间显耀高于 300 DPI 的挫折得胜率。举例 Doubao Seed 1.6 在 300 DPI 下 ASR 为 16.7%,而 ACZ 下升至 70.3%。
2026FIFA世界杯赛事官网入口关键提醒:将来的视觉文本压缩、OCR 增强多模态系统和图像化长凹凸文哄骗,弗成只把「可读性」动作唯独主义。惟有输入需要模子冗忙阔别,安全对皆就可能出现特等压力。
一种简便属目:先转写,再审查,临了回话
针对这一机制,论文提议了一个很朴素的缓解计策:Structured Cognitive Offloading(结构化领会卸载)。
它不是再教师一个新模子,而是把正本混在沿途完成的任务拆成串行进程:
Transcription:先逐字转写图片中的文本;
Safety Evaluation:再基于转写后的纯文本进行安全判断;
Response:临了决定是否回话。
这个念念路的关键在于,把「视觉识别」和「实质审查」解耦。模子不再一边冗忙 OCR、一边同期判断是否无益,而是先把视觉使命卸载掉,再回到其更持重的文本安全审查通谈。

Structured Cognitive Offloading 将识别、审查和回话拆成串行进程后,显耀缩小 ACZ 区间挫折得胜率。
实验骄气,这一简便计策不错显耀缩小 ACZ 风险。以 Qwen3-VL 为例,挫折得胜率从约 67.4% 降至 4%。同期,在一个 300 样本的夙昔 OCR 文档集中子集上,该计策莫得引入特等误拒,反而擢升了回话质料。
诚然,这不是一个莫得代价的决议。论文也指出,该串行进程会让平均输出长度加多约 102%,因此在及时、高隐晦场景中仍需要更系统的工程优化。
这项功绩提醒了什么
回偏激看,ACZ 的真义并不仅仅又发现了一类视觉逃狱挫折。
它更像是在提醒所有多模态模子社区:安全对皆不是一个只发生在语义层面的静态才调,也可能受到输入形式、视觉质料、算计资源分拨和层级特征出当前机的影响。
当文本进入视觉通谈,模子濒临的就不再是单纯的说话输入,而是视觉识别、语义集中和安全审查交汇在沿途的任务。更强的 OCR 才调,未必自动带来更强的安全才调。
关于正在快速发展的视觉文本压缩阶梯来说,这少量尤其伏击。擢升压缩率、缩小 token 资本诚然有价值,但若是压缩后的图像把模子推入「挫折舒坦区」,效果收益就可能追随新的安全资本。
论文临了将这一问题综合为一种资源分拨视角:多模态安全不仅仅数据对皆问题kaiyun(中国)体育,也可能是模子在有限算计与提防力资源下若何分拨「看清」和「审查」的问题。