开源模型库
收录开源模型的元数据和官方下载地址：参数量、许可证、量化版本、需要多少显存。文件本身由官方仓库提供。
我这台机器能跑哪个？
选你的显存，我们给出还能跑的最高质量量化版本。
SmolLM2-135M
HuggingFaceTB
135M 极小型模型，用于实验和嵌入式
对话8K
可商用BF16 · 257 MB
nomic-embed-text-v1.5
nomic-ai
长文本向量模型，8192 上下文
向量2K
可商用BF16 · 261 MB
Qwen2.5-0.5B-Instruct
Qwen
最小的 Qwen2.5 指令模型，手机和低配机器也能跑
中文对话32K
可商用BF16 · 942 MB
jina-embeddings-v3
jinaai
多语言向量模型，支持长文档
中文向量8K
禁止商用BF16 · 1.07 GB
Qwen3-Embedding-0.6B
Qwen
轻量向量模型，RAG 检索首选小模型
中文向量32K
可商用BF16 · 1.11 GB
Qwen3-Reranker-0.6B
Qwen
轻量重排模型，配合向量检索提准确率
中文重排40K
可商用BF16 · 1.11 GB
Qwen3-0.6B
Qwen
Qwen3 系列最小的模型，支持思考模式
中文对话推理40K
可商用BF16 · 1.4 GB
LightOnOCR-2-1B
lightonai
1B 的 OCR 专用模型，图片转结构化文字
中文多模态OCR16K
可商用BF16 · 1.87 GB
TinyLlama-1.1B-Chat-v1.0
TinyLlama
1.1B 极小型对话模型，树莓派级设备可用
对话2K
可商用BF16 · 2.05 GB
Llama-3.2-1B-Instruct
meta-llama
1B 小模型，边缘设备和手机端
对话
许可受限BF16 · 2.3 GB
Qwen2.5-1.5B-Instruct
Qwen
轻量中文对话模型，4GB 显存可跑
中文对话32K
可商用BF16 · 2.88 GB
DeepSeek-R1-Distill-Qwen-1.5B
deepseek-ai
R1 蒸馏到 1.5B，小显卡也能跑推理模型
中文对话推理128K
可商用BF16 · 3.31 GB
moondream2
vikhyatk
轻量视觉语言模型，能看图答题
多模态
可商用BF16 · 3.59 GB
Qwen3-1.7B
Qwen
Qwen3 小钢炮，8GB 显存绰绰有余
中文对话推理40K
可商用BF16 · 3.78 GB
MiniCPM5-2B
openbmb
面壁智能 2B 小模型，中文端侧可用
中文对话128K
可商用BF16 · 4.69 GB
Qwen2.5-3B-Instruct
Qwen
3B 档位，小显卡上的中文对话选择
中文对话32K
许可受限BF16 · 5.75 GB
Llama-3.2-3B-Instruct
meta-llama
3B 小模型，笔记本可跑的对话模型
对话
许可受限BF16 · 5.98 GB
Phi-4-mini-instruct
microsoft
微软 Phi-4 小模型，数学推理突出
中文对话推理128K
可商用BF16 · 7.15 GB
NVIDIA-Nemotron-3-Nano-4B-BF16
nvidia
NVIDIA 小模型，主打推理效率
对话256K
许可受限BF16 · 7.4 GB
Qwen3-4B
Qwen
消费级显卡上的主力选择
中文对话推理40K
可商用BF16 · 7.49 GB
Qwen3-4B-Instruct-2507
Qwen
Qwen3-4B 的纯指令版本，不再冗长思考
中文对话256K
可商用BF16 · 7.49 GB
Qwen3-Embedding-4B
Qwen
中英混排检索效果好的向量模型
中文向量40K
可商用BF16 · 7.49 GB
Qwen3-Reranker-4B
Qwen
检索结果重排序，配合向量模型把 RAG 做准
中文重排40K
可商用BF16 · 7.49 GB
gemma-3-4b-it
Google Gemma 3 4B，原生支持图像输入
对话多模态
许可受限BF16 · 8.01 GB