因全球云计算能力持续短缺，谷歌正式限制Meta对Gemini模型的访问。该模型原为Meta审核核心，用于诈骗和有害内容过滤，效果优于自家Llama。尽管谷歌云单季营收达200亿美元，基础设施扩张仍不敌AI推理需求的爆发式增长。
YouTube科技频道Fully Buffered近日成功在2006年的奔腾4 641处理器上运行了Meta最新的Llama 3.2 3B大模型，将现代AI与20年前老旧硬件结合，展现了LLM的底层兼容性极限。这一硬核测试引发网友感慨，摩尔定律在AI时代的进化速度以跨时空方式实现“握手”，堪称硬件“考古”的极致配置。
Meta Platforms因涉嫌未经授权使用爱思唯尔、圣智等多家出版商的书籍和期刊文章训练AI模型Llama，在纽约曼哈顿联邦法院面临集体诉讼。出版商指控Meta盗用数百万部作品，侵犯版权。
Meta推迟Llama4发布至5月，因技术挑战影响性能优化。该模型是Meta AI战略关键，延期或影响其与OpenAI等竞争。
与LLaMA-Factory官方合作，一站式低代码大模型微调平台，支持超百种模型。
基于Llama框架的TTS基础模型，兼容16万小时标记化语音数据。
LLaDA是一种大规模语言扩散模型，具备强大的语言生成能力，与LLaMA3 8B性能相当。
Llasa-1B 是一个基于 LLaMA 的文本转语音 (TTS) 模型，支持中英文语音合成。
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$2
$20
$6
$24
Baidu
128
bartowski
这是对TheDrummer的Magidonia-24B-v4.3大语言模型进行量化处理后的版本。通过使用llama.cpp的imatrix量化技术，生成了从BF16到IQ2_XS等多种精度的GGUF格式文件，旨在不同硬件条件下（尤其是资源受限环境）更高效地运行模型，同时尽可能保持模型性能。
本项目是TheDrummer的Cydonia-24B-v4.3模型的量化版本，使用llama.cpp进行量化处理，旨在提供不同量化类型的模型文件，以满足不同硬件和性能需求。它是一个24B参数的大语言模型，主要用于文本生成任务。
这是由Mistral AI开发的大型语言模型Mistral-Large-3-675B-Instruct-2512的GGUF量化版本。原始模型拥有6750亿参数，专为指令遵循任务设计。本项目使用llama.cpp工具，结合imatrix校准数据集，生成了从Q8_0到IQ1_S共20多种不同精度的量化模型文件，旨在平衡模型性能、推理速度与存储/内存占用，使其能在更广泛的硬件上运行。
hitonet
Hito 1.7B 是一个专为 llama.cpp、Ollama、LM Studio 等工具优化的 GGUF 量化版本模型，具备 17 亿参数，采用嵌套认知推理（NCR）方法，能够实现结构化、自我纠错的思维模式，提升推理准确性与透明度。
ss-lab
这是一个基于Meta LLaMA 3 8B模型，使用Unsloth框架进行高效微调，并转换为GGUF格式的轻量级文本生成模型。模型针对Alpaca数据集进行了优化，适用于本地部署和推理，特别适合在资源受限的环境中使用。
本项目提供了一个基于微软Phi-3.5-mini-instruct模型进行微调的文本生成模型，已转换为GGUF格式，适用于llama.cpp推理框架。模型在philschmid/guanaco-sharegpt-style数据集上进行了微调，优化了指令遵循和对话能力，适用于资源受限环境下的高效文本生成任务。
这是微软Fara-7B模型的量化版本，使用llama.cpp的imatrix技术进行优化。该模型支持多种量化级别，从高精度的bf16到极低精度的IQ2_M，满足不同硬件配置和性能需求。
这是ArliAI的GLM-4.5-Air-Derestricted模型的GGUF量化版本，使用llama.cpp和imatrix技术进行优化量化处理，提供多种量化级别选择，适用于不同硬件配置和性能需求。
这是squ11z1的Hypnos-i1-8B模型的量化版本，使用llama.cpp工具和特定数据集进行量化处理。该模型基于Llama-3架构，提供多种量化类型选择，支持文本生成任务，适用于推理、对话等多种应用场景。
这是TheDrummer的Snowpiercer-15B-v4模型的量化版本，使用llama.cpp和imatrix技术进行量化处理。该版本提供了从BF16到IQ2_S等多种量化级别，满足不同硬件条件和性能需求的用户。模型使用特定数据集进行校准优化，支持在线重打包功能以提升在ARM和AVX硬件上的性能。
squ11z1
Hypnos i1-8B 是基于 Nous Hermes 3（Llama 3.1 8B）的专业推理模型，专注于复杂逻辑、思维链推理和数学问题求解。该模型在混合量子-经典机器学习领域进行了独特探索，通过引入量子噪声注入提升了模型的创造力和推理能力。
这是对ai-sage的GigaChat3-10B-A1.8B模型进行的量化处理版本，采用llama.cpp的imatrix量化技术，可在不同硬件条件下更高效地运行。模型支持俄语和英语，主要用于文本生成任务。
这是allenai的Olmo-3-32B-Think模型的GGUF量化版本，通过llama.cpp工具进行多种量化处理，旨在提升模型在特定环境下的性能和效率。提供了从Q2到Q8的多种量化选项，满足不同硬件配置和性能需求。
这是kldzj的GPT-OSS-120B-Heretic-v2模型的量化版本，使用llama.cpp的imatrix技术进行量化处理。该模型通过量化技术显著减少了存储和计算资源需求，同时保持了较好的模型性能，便于在各种设备上部署运行。
evilfreelancer
这是ai-sage/GigaChat3-10B-A1.8B模型的量化版本，采用GGUF格式，需要特定的llama.cpp分支支持。模型采用混合专家架构，总参数量约118亿，其中激活参数量约18亿。
这是对VibeStudio的MiniMax-M2-THRIFT模型进行的量化处理版本，使用llama.cpp工具和特定数据集生成，提供多种量化类型的GGUF文件，支持在LM Studio或基于llama.cpp的项目中运行。
这是通过REAP方法对MiniMax-M2均匀裁剪25%的专家得到的172B参数大语言模型，专门针对llama.cpp进行了优化量化处理，支持多种量化级别，可在LM Studio或基于llama.cpp的项目中运行。
这是一个基于REAP方法对MiniMax-M2中40%专家进行均匀剪枝得到的139B参数大语言模型，采用GLM架构和专家混合(MoE)技术，通过llama.cpp进行多种量化处理，适用于文本生成任务。
advy
本模型是基于meta-llama/Llama-3.1-70B-Instruct在特定数据集上微调得到的大语言模型，专门用于文本生成任务，在评估集上取得了0.6542的损失值表现。
这是kldzj/gpt-oss-120b-heretic模型的量化版本，使用llamacpp进行量化处理，提供了多种量化类型选择，包括BF16、Q8_0和MXFP4_MOE等特殊格式，显著提升了模型运行效率。
该项目实现了Yahoo Finance API与LLaMA 3.2 3B模型的集成，通过Model Context Protocol (MCP)协议使模型能够获取实时金融数据、股票信息和市场新闻，同时保留LLaMA原有的所有功能。
mcp-scaffold是一个用于验证模型上下文协议（MCP）服务器的开发沙箱，提供本地LLM（如LLaMA 7B）和云端推理支持，包含聊天界面和参考架构。
一个轻量级的MCP服务器，通过结合网络搜索和内容解析，从LangChain、LlamaIndex和OpenAI等流行AI库中检索相关文档内容，为语言模型提供动态查询最新文档的功能。
项目介绍如何快速搭建基于Ollama和Llama3.2模型的MCP服务，包括环境准备和运行步骤。
GgufMultiple Languages%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
'%3e%3cpath%20d='M55.2622%2038L48.2289%2022L44.1206%2031.3333H47.2539L45.7872%2034.6667H38.7622L46.0956%2018H37.6706C36.7539%2018%2036.0039%2018.75%2036.0039%2019.6667V36.3333C36.0039%2037.25%2036.7539%2038%2037.6706%2038H55.2622Z'%20fill='white'/%3e%3cpath%20d='M64.3368%2018H50.3535L59.1535%2038H64.3368C65.2535%2038%2066.0035%2037.25%2066.0035%2036.3333V19.6667C66.0035%2018.75%2065.2535%2018%2064.3368%2018ZM63.0868%2034.6667H59.7535V21.3333H63.0868V34.6667Z'%20fill='%23FFCC66'/%3e%3cpath%20d='M89.3379%2026.75V29.25H81.8379V36.75H91.8379V24.25H81.8379V26.75H89.3379ZM84.3379%2034.25V31.75H89.3379V34.25H84.3379Z'%20fill='white'/%3e%3cpath%20d='M103.504%2036.75V29.25H96.0039V26.75H103.504V24.25H93.5039V31.75H101.004V34.25H93.5039V36.75H103.504Z'%20fill='white'/%3e%3cpath%20d='M115.17%2026.75V24.25H105.17V36.75H115.17V34.25H107.67V31.75H115.17V29.25H107.67V26.75H115.17Z'%20fill='white'/%3e%3cpath%20d='M80.1712%2029.25V29.175L78.9962%2028L80.1712%2026.825V20.425L78.9962%2019.25H69.3379V36.75H78.9962L80.1712%2035.575V29.25ZM77.6712%2034.25H71.8379V29.25H77.6712V34.25ZM77.6712%2026.75H71.8379V21.75H77.6712V26.75Z'%20fill='white'/%3e%3c/g%3e%3cg%20clip-path='url(%23clip1_644_3948)'%3e%3cpath%20d='M169.59%2022.9827L169.59%2023.6491H177.409L168.175%2032.8822L169.118%2033.8248L178.351%2024.5917L178.352%2032.4106H179.685V22.3164L179.018%2022.3157H169.59V22.9827Z'%20fill='white'/%3e%3c/g%3e%3cdefs%3e%3cclipPath%20id='clip0_644_3948'%3e%3crect%20width='80'%20height='20'%20fill='white'%20transform='translate(36%2018)'/%3e%3c/clipPath%3e%3cclipPath%20id='clip1_644_3948'%3e%3crect%20width='20'%20height='20'%20fill='white'%20transform='translate(164%2018)'/%3e%3c/clipPath%3e%3c/defs%3e%3c/svg%3e)
