跳转到内容

模板

模板保存一套启动配置:镜像、实例类型、启动命令,也可以固定资源池和规格。模板库里的条目和 首页 上 部署类型:模型 API 下现成的模板都是模板。

除了浏览公开模板,这些接口都只接受浏览器会话。路径相对于你所在站点的控制台地址。

GET /api/templates 无需凭证,或 API Key、会话

返回已发布的模板。带 API Key 或会话时,还会返回你自己的私有模板。

GET /api/inference/templates 会话

返回 部署类型 → 模型 API 下提供的公开 vLLM 模板,每个模板都带有它运行的命令和需要的规格。

{
"templates": [
{
"id": 412,
"title": "MiniCPM5-1B",
"description": "...",
"model_source": "modelscope",
"start_command": "vllm serve OpenBMB/MiniCPM5-1B --host 0.0.0.0 --port 8000 --served-model-name MiniCPM5-1B",
"pod_type": "one-click",
"resource_template": "resource-16c55g1u",
"gpu_count": 1
}
]
}
POST /api/templates/{template_id}/launch 会话

控制台发送空请求体。固定了资源池和规格的模板,按它自己的规格启动。

字段类型说明
gpu_countinteger可选只对没有固定规格的模板有效,默认 1。
ssh_enabledboolean可选这次启动是否开启 SSH。

只有 jupyter 和 vllm 类型的模板可以启动。返回值和后续调用与其他启动方式相同:轮询 GET /api/notebook/status;vllm 模板则轮询 GET /api/inference/current。

启动按 IP 地址限流,超出后返回 429,并带有 Retry-After 响应头。

方法路径作用
GET/api/profile/templates列出你的模板和可选的镜像。
POST/api/profile/templates创建模板。
PUT/api/profile/templates/{template_id}替换模板,请求体和创建时相同。
DELETE/api/profile/templates/{template_id}删除模板。

主要字段:

字段类型说明
titlestring必填显示名称。
imagestring必填镜像目录中的镜像。
instance_typestring可选jupyter 或 vllm。其他类型可以保存,但无法启动。
start_commandstring可选启动时运行的命令。vllm 必填。
model_sourcestring可选huggingface 或 modelscope,用于 vllm。
pod_type、resource_templatestring可选固定的资源池和规格。两个都发或都不发。
use_pvcboolean可选启动时挂载持久化 /workspace。
description、category、tags、cover_url可选模板在模板库里的展示方式。
repo_url、branch、notebook_pathstring可选启动时克隆的 Git 仓库和要打开的 notebook。
enabledboolean可选公开发布。只有编辑者可以发布,其他人的模板会被强制设为 false。

修改或删除模板,不影响已经用它启动、正在运行的实例。