Llama 3.3

!logo

镜像概述和主要用途

Meta Llama 3.3 是由Meta设计的700亿参数多语言语言模型，专为聊天和内容生成等文本任务而优化。其指令调优版本针对多语言对话进行了优化，在常见基准测试中性能优于许多开源和商业模型。作为最新的Llama 3版本，该模型在推理能力和生成质量方面均有显著提升。

使用场景和适用范围

• 多语言助手式聊天：使用指令调优模型构建跨语言对话AI，支持在多种语言环境下实现自然且上下文感知的交互。
• 编码支持与软件开发任务：辅助代码生成、调试、文档编写及其他软件工程工作流。
• 多语言内容创作与本地化：跨语言和文化生成及调整书面内容，支持全球沟通与用户 engagement。
• 知识型应用：将大型语言模型与结构化或非结构化数据源集成，用于问答、洞察提取或决策支持。
• 通用自然语言生成：各类自然语言生成任务，如摘要、翻译或跨领域内容创作。
• 合成数据生成（synth）：创建真实、高质量的合成文本数据，用于扩充训练、测试数据集或***化处理。

核心功能和特性

关键特性

• 最新Llama 3版本：相比前代模型，推理能力和生成质量显著提升
• 多语言支持：覆盖英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
• 工具调用能力：支持工具调用功能（✅）
• 代码生成能力：输出模态包括文本和代码，适用于软件开发任务
• 长上下文窗口：支持131K tokens的上下文窗口，可处理长文本输入

基本属性

可用模型变体

¹: 显存基于模型特性估算。

latest 标签对应 70B-Q4_K_M 变体

使用方法和配置说明

通过 Docker Model Runner 使用

1. 拉取模型镜像

bash
docker model pull ai/llama3.3

2. 运行模型

bash
docker model run ai/llama3.3

有关 Docker Model Runner 的更多信息，请参阅 ***文档。

基准性能

链接

• Meta Llama 3 发布：迄今为止能力最强的开源LLM
• Llama 3 模型集群