四川证监局8月3日披露,95后投资者孙某用AI批量生成并散布某上市公司纯碱锅炉故障虚假消息,同时交易纯碱期货获利,被没收违法所得8.5万元并处罚款40万元,合计48.5万元。这是AI造假操纵期货市场的罕见案例。2023年11月,孙某通过百家号连续发布虚假信息实施操纵。
谷歌紧急暂停了Google Earth新上线的AI图像生成功能,该功能上线不足48小时,因存在制造虚假信息的风险而被叫停。该工具整合了图像生成模型Nano Banana2,用户可通过文字指令在真实卫星影像、航拍和三维地图上直接生成虚构场景。BBC实测发现,其能产出诸如“埃菲尔铁塔倒塌”等逼真却极具误导性的内容。谷歌表示将进一步加强安全防护措施。
维基百科联合创始人吉米·威尔士直言,当前AI的“幻觉”问题依旧严重,看似自信却常输出虚假信息,尚不可信,因此禁止其直接编辑词条。但他认为AI可作为“闹钟”发挥提醒辅助作用。
5月20日,四川南部县女子王某某利用AI大模型生成约3000字不实股市文章,在今日头条捏造A股行情预测、歪曲监管政策,以制造热点博流量。该行为扰乱金融市场秩序,遭警方行政处罚,虚假内容均下架。
最强大的AI事实核查工具
VerificAudio是PRISA Media的人工智能工具,用于打击音频内容中的虚假信息(deep fakes)
AI生成的图像水印和识别工具。
AI生成内容辨别工具
Baidu
-
Input tokens/M
Output tokens/M
32
Context Length
Alibaba
Google
$8.75
$70
1k
$0.5
Openai
$14
$56
200
$0.7
$2.8
Tencent
Xai
128
$1.05
$4.2
01-ai
4
8
SadraCoding
SDXL-Deepfake-Detector 是一款精准检测 AI 生成人脸的工具,专注于维护数字世界的真实性,为抵御视觉虚假信息提供隐私保护且开源的解决方案。该模型通过微调预训练模型实现轻量级且高准确率的检测。
prithivMLmods
GA Guard系列是开源权重的审核模型,旨在帮助开发者和组织维护语言模型的安全性、合规性以及与现实世界的一致性。该模型可检测七种违规类别,包括非法活动、仇恨与辱骂、个人身份信息与知识产权、提示安全、色情内容、虚假信息以及暴力与自残。
Sami92
这是一个基于XLM-R Large微调的文本分类模型,专门用于识别德语虚假信息叙事。模型经过训练,能够检测常见的虚假信息模式,如移民犯罪、气候变化否认、选举操纵等叙事,为自动事实核查提供支持。
PirateXX
这是一个运用先进模型来检测文本内容是否由AI生成的工具。它能区分真实内容(Label_1)和AI生成的虚假内容(Label_0),旨在帮助用户识别信息的来源和可信度。
一个用于分析言论、验证来源和检测操纵的模型上下文协议服务器,采用多认知框架进行反虚假信息处理。
一个用于分析言论、验证来源和检测操纵的多框架反虚假信息服务器