完全兼容的服务,支持持久化线程、文件、vector_stores、助手、检索、函数调用等功能,使用AstraDB(DataStax提供的数据库即服务,基于Apache Cassandra和jvector构建)实现数据存储。
支持数十种第三方LLM提供商(甚至本地模型)用于补全和嵌入功能(由LiteLLM提供支持)。
您可以使用我们托管的Astra Assistants服务,也可以自行托管开源API服务器。
通过Docker运行,首先从Docker Hub拉取镜像:
docker pull datastax/astra-assistants
如果不希望使用最新版本,可以指定特定版本:
docker pull datastax/astra-assistants:v0.2.18
然后运行(-p参数将Docker的8080端口映射到主机的8080端口):
docker run -p 8080:8080 datastax/astra-assistants
如需通过Docker Compose与ollama集成,请克隆仓库:
git clone ***:datastax/astra-assistants-api.git
然后运行examples目录下的docker-compose:
cd examples/ollama/gpu # 如需仅使用CPU,可选择examples/ollama/cpu;使用GPU需安装docker-toolkit docker-compose up -d
使用前需先拉取所需的ollama模型:
curl http://localhost:***/api/pull -d '{ "name": "deepseek-coder-v2" }'
助手客户端应路由到ollama容器,需设置OLLAMA_API_BASE_URL。使用docker-compose时,OLLAMA_API_BASE_URL应设为http://ollama:***;若本地运行ollama,可设为http://localhost:***。
来自真实用户的反馈,见证轩辕镜像的优质服务
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
在 Linux 系统配置镜像加速服务
在 Docker Desktop 配置镜像加速
Docker Compose 项目配置加速
Kubernetes 集群配置 Containerd
在宝塔面板一键配置镜像加速
Synology 群晖 NAS 配置加速
飞牛 fnOS 系统配置镜像加速
极空间 NAS 系统配置加速服务
爱快 iKuai 路由系统配置加速
绿联 NAS 系统配置镜像加速
QNAP 威联通 NAS 配置加速
Podman 容器引擎配置加速
HPC 科学计算容器配置加速
ghcr、Quay、nvcr 等镜像仓库
无需登录使用专属域名加速
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429