谷歌緊急暫停了Google Earth新上線的AI圖像生成功能,該功能上線不足48小時,因存在製造虛假信息的風險而被叫停。該工具整合了圖像生成模型Nano Banana2,用戶可通過文字指令在真實衛星影像、航拍和三維地圖上直接生成虛構場景。BBC實測發現,其能產出諸如“埃菲爾鐵塔倒塌”等逼真卻極具誤導性的內容。谷歌表示將進一步加強安全防護措施。
蘋果緊急推送iOS/iPadOS/macOS更新,打破常規發佈節奏,以提前應對由AI技術驅動的惡意攻擊風險。AI使黑客開發攻擊工具的速度驟升,迫使廠商強化早期安全防護。
OpenAI啓動“修補地球”計劃,攜手Trail of Bits爲開源社區提供AI驅動的安全防護,以AI工具結合人工覈驗爲維護者減負,從“入侵”戲謔轉向“守護”角色。
生成式人工智能向智能體時代發展,工具調用和聯網能力增強,安全防禦面臨挑戰。爲應對提示注入攻擊,OpenAI推出“封鎖模式”安全設置,面向所有登錄用戶開放,旨在加強系統防護。
Nexos AI進行安全驗證,防護惡意自動程序,等待響應
因安全防護機制被攔截,無法訪問Dottie AI
aifreeforever網站進行安全驗證,使用安全服務防護惡意自動程序。
為代理式AI提供完整安全防護,檢測操縱、識別風險
GeneralAnalysis
GA Guard Lite是General Analysis開發的輕量級開源審核模型,專門用於檢測語言模型輸出中的違規內容。該模型能夠識別七類安全風險,包括非法活動、仇恨言論、個人信息洩露等,為AI應用提供高效的內容安全防護。
AIML-TUDA
QwenGuard是一個視覺安全防護模型,能根據提供的安全策略評估圖像,輸出安全評級、安全類別及評估依據。
QwenGuard-v1.2-3B是基於Qwen/Qwen2.5-VL-3B-Instruct開發的視覺安全防護模型,用於評估圖像內容的安全性。
ibm-research
IBM Research開發的風險檢測大語言模型,基於Granite 3.2 30億參數模型微調,專門用於檢測提示和響應中的各類風險,為企業應用提供安全防護。
dcarpintero
基於ModernBERT的輕量級模型,專注於識別惡意提示注入攻擊,提供AI安全防護。
yueliu1999
基於Llama-3.2-3B通過R-SFT和HS-DPO方法微調的安全防護模型,用於分析人機交互中的有害內容
GuardReasoner 8B是基於meta-llama/Llama-3.1-8B微調的模型,專注於推理式LLM安全防護
hbseong
基於DeBERTa-v3-large微調的安全防護模型,用於檢測與大語言模型對話中的不安全內容,防止越獄攻擊。
OpenSafetyLab
基於internlm2-7b-chat微調的安全防護工具,提供人類可讀的判定解釋和細粒度危害評分
meta-llama
基於80億參數Llama 3的安全防護模型,用於對LLM輸入和響應進行安全分類
llamas-community
基於70億參數Llama 2的安全防護模型,用於對LLM輸入輸出內容進行安全分類
clouditera
SecGPT是由雲起無垠推出的全球首個網絡安全開源大模型,專為網絡安全場景打造,融合自然語言理解、代碼生成和安全知識推理等能力,全面提升安全防護效率與效果。
AI基礎設施代理是一個智能系統,允許用戶通過自然語言命令管理AWS雲資源。它利用AI模型將用戶需求轉化為可執行的AWS操作,並提供Web儀表板、狀態管理和安全防護功能。
Pipelock是一個開源的AI代理防火牆,通過單二進制文件提供零運行時依賴的安全防護。它採用能力分離架構,在代理與互聯網之間部署九層掃描管道,防止秘密洩露、提示注入和惡意工具調用。支持多種代理模式(Fetch代理、正向代理、WebSocket代理)和MCP代理,提供緊急停止開關、審計日誌和SIEM集成等功能。
一個專注於安全性的MCP服務器實現集合,提供企業級安全加固,支持多種安全平臺集成,包括Splunk、CrowdStrike和MISP,具備全面的安全防護措施。
Recall MCP服務器是一個實現Model Context Protocol的服務,用於與Recall區塊鏈存儲服務交互,提供賬戶管理、存儲桶操作和對象存儲功能,特別注重私鑰安全保護。
一個基於安全優先模型的Ubuntu MCP服務器,為AI助手提供受控的系統操作訪問,包含多層安全防護、審計日誌和資源限制。
該項目通過LSP協議提供代碼分析與編輯功能,支持TypeScript/JavaScript的MCP工具調用,包含文件操作、符號查找、錯誤檢查等功能,並具備路徑限制等安全特性。
基於MCP框架的MySQL查詢服務器,提供SSE即時數據庫操作接口和安全防護機制
AIM Guard MCP是一個AI安全防護服務器,為AI代理提供安全分析、內容審查和防護指令,確保AI與各類MCP服務交互時的安全性。
AIM Guard MCP是一個AI安全防護服務器,為AI代理提供安全分析、內容檢測和防護指令工具,保護MCP交互安全
NotebookLM MCP服務器的安全強化版本,提供零幻覺答案、Gemini深度研究、文檔API和程序化筆記本創建功能,具備14層企業級安全防護,包括後量子加密、證書固定和合規支持。
Bishop MCP是一個企業級主控程序,提供高效的應用程序構建、部署和管理功能,包含構建系統、部署編排、用戶管理等核心功能,支持即時監控、安全防護和多種集成能力。
一個提供全面SQLite數據庫操作的MCP服務器,支持數據庫管理、表操作、查詢執行、事務管理和模式導入導出等功能,具備多層安全防護和工具分類機制。
企業級認證管理MCP服務器,提供多協議認證和安全防護功能
Arcjet MCP服務器是一個為AI代理提供上下文的工具,幫助開發者集成Arcjet安全防護功能到應用中,包括列出團隊和站點等功能。
Cloudflare MCP服務器是一個現代模型-上下文-協議服務,提供DNS、安全、重定向和區域設置等Cloudflare功能的結構化工具接口,兼容AI客戶端如Claude Desktop,支持即插即用和類型安全。
基於MCP框架的MySQL查詢服務器,支持SSE即時數據傳輸,提供安全可靠的數據庫操作接口
一個專業的MCP服務器,使AI助手能夠監控網絡服務、API和HTTP端點,具有企業級安全性。適用於DevOps、監控和確保服務正常運行。
該項目是Model Context Protocol (MCP) 服務器的Kubernetes部署配置,包含Docker鏡像構建、Azure容器註冊表推送及K8s集群部署流程,支持健康檢查、安全防護和彈性擴展。
Humsana是一個為AI輔助開發提供認知安全保護的MCP服務器,通過監測用戶疲勞狀態來阻止危險命令執行和大規模代碼重寫,類似於終端的'呼吸分析儀'安全系統。
一個安全的命令行MCP服務器,為AI助手提供可控的終端命令執行環境,通過目錄權限和命令分類實現多層安全防護。