
Llama 3.2推出了轻量级的1B和3B模型,初始版本采用bfloat16(BF16)精度,后续新增了量化版本。量化模型在保持与BF16版本精度接近的同时,运行速度显著提升,内存占用和功耗大幅降低,适合资源受限场景。
Llama 3.2 Instruct模型主要面向以下场景设计:
| 属性 | 详情 |
|---|---|
| 提供商 | Meta |
| 架构 | Llama |
| 数据截止日期 | 2023年12月 |
| 支持语言 | 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语 |
| 工具调用 | ✅ |
| 输入模态 | 文本 |
| 输出模态 | 文本、代码 |
| 许可证 | Llama 3.2社区许可证 |
| 模型变体 | 参数规模 | 量化方式 | 上下文窗口 | 显存¹ | 大小 |
|---|---|---|---|---|---|
ai/llama3.2:latestai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:1B-Q4_0 | 1B | Q4_0 | 131K tokens | 1.35 GiB | 727.75 MB |
ai/llama3.2:1B-Q8_0 | 1B | Q8_0 | 131K tokens | 1.87 GiB | 1.22 GB |
ai/llama3.2:1B-F16 | 1B | F16 | 131K tokens | 2.95 GiB | 2.30 GB |
ai/llama3.2:3B-Q4_0 | 3B | Q4_0 | 131K tokens | 2.68 GiB | 1.78 GB |
ai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:3B-F16 | 3B | F16 | 131K tokens | 6.89 GiB | 5.98 GB |
¹:显存基于模型特性估算。
latest标签默认对应3B-Q4_K_M版本
bashdocker model pull ai/llama3.2
bashdocker model run ai/llama3.2
更多关于Docker Model Runner的信息,可查看***文档。
以下是Llama 3.2 1B模型在各类能力上的基准测试结果:
| 能力项 | 基准测试 | Llama 3.2 1B |
|---|---|---|
| 通用能力 | MMLU | 49.3 |
| 改写能力 | Open-rewrite eval | 41.6 |
| 摘要能力 | TLDR9+ (test) | 16.8 |
| 指令遵循能力 | IFEval | 59.5 |
| 数学能力 | GSM8K (CoT) | 44.4 |
| MATH (CoT) | 30.6 | |
| 推理能力 | ARC-C | 59.4 |
| GPQA | 27.2 | |
| Hellaswag | 41.2 | |
| 工具使用能力 | BFCL V2 | 25.7 |
| Nexus | 13.5 | |
| 长上下文能力 | InfiniteBench/En.QA | 20.3 |
| InfiniteBench/En.MC | 38.0 | |
| NIH/Multi-needle | 75.0 | |
| 多语言能力 | MGSM (CoT) | 24.5 |
来自真实用户的反馈,见证轩辕镜像的优质服务
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
在 Linux 系统配置镜像加速服务
在 Docker Desktop 配置镜像加速
Docker Compose 项目配置加速
Kubernetes 集群配置 Containerd
在宝塔面板一键配置镜像加速
Synology 群晖 NAS 配置加速
飞牛 fnOS 系统配置镜像加速
极空间 NAS 系统配置加速服务
爱快 iKuai 路由系统配置加速
绿联 NAS 系统配置镜像加速
QNAP 威联通 NAS 配置加速
Podman 容器引擎配置加速
HPC 科学计算容器配置加速
ghcr、Quay、nvcr 等镜像仓库
无需登录使用专属域名加速
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429