中央网信办通报“清朗·整治AI应用乱象”专项行动第二阶段成果，重点治理利用AI制作虚假信息、传播暴力低俗内容、假冒仿冒及侵害未成年人等问题。目前已清理违法信息超561万条，查处违规账号4.9万余个，处置违规网站及APP逾2400个，全面遏制AI技术滥用乱象。
中央网信办推进“清朗·整治AI应用乱象”第二阶段，重点打击利用AI制作虚假信息、传播暴力低俗、假冒仿冒及侵害未成年人等行为。目前已清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站和应用2400余个，平台与厂商同步加强内容治理。
据《纽约时报》报道，低质AI内容泛滥：谷歌现“胶水披萨”食谱，亚马逊充斥虚假传记，脸书遍布“虾仁耶稣”图。随聊天机器人普及，数字垃圾蔓延各平台，污染信息生态。硅谷科技公司开始清理反击，但许多垃圾源自自家AI工具，如Spotify去年删除大量AI生成内容。
四川证监局8月3日披露，95后投资者孙某用AI批量生成并散布某上市公司纯碱锅炉故障虚假消息，同时交易纯碱期货获利，被没收违法所得8.5万元并处罚款40万元，合计48.5万元。这是AI造假操纵期货市场的罕见案例。2023年11月，孙某通过百家号连续发布虚假信息实施操纵。
最强大的AI事实核查工具
VerificAudio是PRISA Media的人工智能工具，用于打击音频内容中的虚假信息（deep fakes）
AI生成的图像水印和识别工具。
AI生成内容辨别工具
Baidu
-
Input tokens/M
Output tokens/M
32
Context Length
Alibaba
Google
$8.75
$70
1k
$0.5
Openai
$14
$56
200
$0.7
$2.8
Tencent
Xai
128
$1.05
$4.2
01-ai
4
8
SadraCoding
SDXL-Deepfake-Detector 是一款精准检测 AI 生成人脸的工具，专注于维护数字世界的真实性，为抵御视觉虚假信息提供隐私保护且开源的解决方案。该模型通过微调预训练模型实现轻量级且高准确率的检测。
prithivMLmods
GA Guard系列是开源权重的审核模型，旨在帮助开发者和组织维护语言模型的安全性、合规性以及与现实世界的一致性。该模型可检测七种违规类别，包括非法活动、仇恨与辱骂、个人身份信息与知识产权、提示安全、色情内容、虚假信息以及暴力与自残。
Sami92
这是一个基于XLM-R Large微调的文本分类模型，专门用于识别德语虚假信息叙事。模型经过训练，能够检测常见的虚假信息模式，如移民犯罪、气候变化否认、选举操纵等叙事，为自动事实核查提供支持。
PirateXX
这是一个运用先进模型来检测文本内容是否由AI生成的工具。它能区分真实内容（Label_1）和AI生成的虚假内容（Label_0），旨在帮助用户识别信息的来源和可信度。
一个用于分析言论、验证来源和检测操纵的模型上下文协议服务器，采用多认知框架进行反虚假信息处理。
一个用于分析言论、验证来源和检测操纵的多框架反虚假信息服务器
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Join Now
