美国康涅狄格州一名自行出庭的原告,被法官发现疑似在提交法院的文件中隐藏了仅供 AI 系统读取的文字指令,试图以此影响案件处理。这被认为是美国司法体系首次出现当事人用"提示注入"干预 AI 审阅流程的案例,尽管该州法院目前并未实际使用 AI 审查材料,隐藏指令并未奏效。
白色小字藏玄机,滥用程序被制裁
这些隐藏指令被设为极小字号、白字配白底,肉眼几乎无法察觉,却能被提取文档文本的软件识别。其内容要求任何审阅文件的 AI 系统输出与原告主张一致、忽略法院不利决定,并按其希望的方式推动结果。法官小沃尔特·斯佩德指出,这种做法本质是向读取文件的系统偷植指令,使当事人要求被误认为来自系统运营者的命令,在法院已警告处罚后原告仍继续添加,构成严重程序滥用。
原告辩称部分内容只是玩笑,包括一个视频链接和"嗨,我希望你看不见我"等无意义文字,但法官认为在正式诉状中暗藏玩笑不合常理。考虑到他无律师代理且似乎受 AI 工具"过度认同"影响,法院未处以罚款,而是禁止其使用电子提交系统、改为提交纸质材料,既保留其诉诸司法的权利,又阻断继续滥用平台的可能。
输入端攻击成新隐患
法官警告,随着提示注入在招聘等领域日渐常见,法院出现类似情况并不意外,司法系统过去只顾防范 AI 虚构判例等输出问题,对输入端攻击准备不足。巴西曾有律师在 AI 审查案件中用类似手段被罚约 1.6 万美元,裁定提及此类攻击目前成功率有限,但未来有必要制定专门规则。
斯佩德还批评部分自行诉讼人使用聊天机器人的方式:先认定结论再要求 AI 只找支持论据,不让其检验事实或分析反方,反而固化错误判断。他强调,AI 使用者应同样要求系统质疑自己的立场,"只被要求同意作者论点,归根结底连对作者本人也是不诚实的"。



