跳转到内容

实例的组成

实例是挂载了 AMD Radeon GPU 的容器。在控制台的 首页 启动,启动时选好运行什么、用多大规格。实例会一直运行,直到你销毁它,或者触发平台的限制。

设置决定什么
部署类型Notebook 提供 JupyterLab 和 SSH,用于开发;模型 API 用 vLLM 把模型部署成兼容 OpenAI 的接口,见部署模型服务。
规格GPU 数量、CPU 核数、内存,以及每小时消耗的积分。
镜像容器里的软件:ROCm、Python 和各类框架。见选择镜像。
资源池实例调度到哪一组 GPU 节点上。
工作区存储/workspace 随实例删除,还是保留下来。见保存数据。
挂载模型以只读方式挂载的模型文件,大多数挂载在 /models。见保存数据。

表单默认只显示 部署类型、规格 和 镜像。打开 自定义 才会显示其余选项。

表单里的规格、镜像和资源池都是分配给你账号的,其他账号看到的选项可能不同。出现在列表里只表示你可以申请,不代表已经为你预留了 GPU。

在终端里运行 rcc catalog list 可以看到同样的列表,见 Radeon Cloud CLI。

实例运行期间,首页 显示的是这个实例,而不是启动表单。要启动新实例,先销毁当前这个。

实例运行期间每张 GPU 每小时消耗 1 积分,消耗速度标在所选规格上,例如 1 GPU · 16 核 · 55GB · 1 积分 / 小时。实例就绪后一两分钟内扣除第一个小时的积分。首页 的实例卡片会显示实例已运行的时长和已消耗的积分。

余额至少要够第一个小时;积分用完后,实例会被删除。见积分。

积分用完时,实例会被自动删除。实例就绪后超过启动表单上 超时回收 显示的时长,也会被删除;显示 不自动回收 时没有这个限制。请边跑边把结果保存到持久化的 /workspace,这样实例被停止时不会丢失工作。

从控制台启动的实例都会开启 SSH。请在启动前到 设置 里添加公钥,见通过 SSH 连接。