BaaS 使用指南

更新日期:2026 年 10 月 17 日

BaaS(Benchmark as a Service)是一套统一的模型评测平台。它负责组织测试任务、调用指定集群中的评测工具、跟踪执行过程,并保存测试配置和结果。你可以用它做精度评测、文本生成性能测试,也可以通过 ChatDB 查询和回放已有请求。

本指南适用于当前代码版本。配图来自对应开发环境的实际界面;截图中的集群、模型、路径和历史任务仅作操作示例,请替换为自己的测试环境。项目版本和可用集群以当前页面为准。

登录与测试前准备

登录

访问 BaaS 生产环境,使用公司统一 OIDC / Authentik 账号登录。首次使用统一账号或遇到认证问题时,可参考 研发新同事入职 SOP 中的账号说明。

登录后,默认进入「运行记录」。上半部分用于提交评测,下半部分显示自己的历史任务;侧栏提供公共记录、个人配置、公共配置、回收站、使用指南和 BaaS Skill。管理员另有「所有记录」入口。

BaaS 控制台与运行记录

图 1 运行记录页面。顶部统计对应当前账号,管理员查看所有记录时也不会把其他人的任务计入自己的统计。

准备被测服务

❗ BaaS 不负责启动推理服务。提交前请先部署模型,并确认所选 BaaS 集群能够访问服务地址。

「集群」决定实际发起请求的 Worker。服务地址、Tokenizer 和数据集文件路径都从这个 Worker 的环境解析。你自己电脑上的 127.0.0.1、本地文件和 SSH 隧道,不会自动变成 Worker 可访问的资源。

先准备以下信息:

信息 如何填写
集群 选择与被测服务网络互通、状态正常且支持该项目的集群
Endpoint URL 填写服务实际使用的 HTTP(S) 推理地址,优先使用完整接口路径
Model 填写服务接受的模型名,注意部署名或别名可能与模型目录名不同
API Key 需要鉴权时填写;无鉴权的服务留空
Tokenizer 性能测试需要时填写 Worker 可读取的模型目录或原生工具支持的 Tokenizer 标识
Cache Flush URL 三个性能项目默认逐点清缓存;开启时填写服务提供的清缓存地址

精度项目通常使用 Chat Completions 接口,例如 http://服务地址:端口/v1/chat/completions。常见文本性能测试可使用 /v1/completions 或 /v1/chat/completions,也可按项目提供的 backend / api 选择相应原生协议。

精度项目可以检测服务协议和模型列表;服务不提供 /v1/models 时,可手动填写实际模型名。性能项目按所选原生适配器执行,页面可能显示「未发送额外推理探测」「由原生工具在执行时验证」,此时无需等待模型列表自动出现。

选择评测项目

目的 项目 主要用途
GLM 精度测评 GLM-OpenEvals AA-LCR、AIME25、GPQA、IFBench、MMLU-Pro
Kimi 官方专项评测 Kimi Vendor Verifier OCRBench、MMMU-Pro Vision、AIME2025(K2.x)
编程任务评测 DeepSWE 在隔离仓库和沙箱中执行开发任务,再由测试环境验收
文本性能测试 vLLM Bench、SGLang Bench、EvalScope 测量吞吐、时延,并组织多组负载对比
已有流量分析与回放 chatdb 查询请求、构建数据集、实时镜像、离线回放及缓存分析

选择集群、项目后再填写对应参数。切换项目或数据集时仍应检查推理地址、模型和已恢复的参数;页面可能沿用之前的个人默认值或浏览器草稿。

GLM 精度测评

被测模型与评测模型

「推理服务」是被测模型;「评测模型」用于项目所需的答案提取或评分。两者可以使用不同集群、不同地址、不同模型和不同凭据。评测模型既可以是自建服务,也可以是商业模型 API;请选择能访问它的集群。

❗ 用于对外比较的测试应明确记录 Judge。使用被测模型给自身评分时,请标明 Self-Judge;页面出现相关风险提示后,应检查设置再确认。

启动一个测试

以 IFBench 为例:

  1. 在「运行记录」上方选择集群和 GLM-OpenEvals。
  2. 填写被测服务的 Endpoint URL 和 Model,检查检测结果。
  3. 填写评测模型的 Cluster、Endpoint URL、Model,以及必要的 API Key。
  4. 勾选 IFBench。也可以同时勾选多个数据集,作为一个组合任务提交。
  5. 检查该数据集的 Concurrency、Max tokens、Enable thinking;采样与请求扩展等参数在「更多选项」中。
  6. 选择执行方式。需要逐项比较时使用「顺序执行」。
  7. 点击「提交」,在「确认本次评测」中填写测试目的或变更说明,检查后确认运行。

GLM 精度测评的推理服务、评测模型与 IFBench 参数

图 2 GLM 精度测评表单。示例中两个角色使用同一模型,因此出现 Self-Judge 提示;实际评测请按实验要求配置。图中数值是当前表单值,不代表所有数据集的默认值。

数据集与参数

数据集 测试内容 需要关注的设置
AA-LCR 长上下文理解 模型上下文容量;默认 Concurrency 为 1,Repeat Times 为 3
AIME25 数学推理 默认 Repeat Times 为 32,修改重复次数会改变实际实例数
GPQA 高难度科学问答 默认 Repeat Times 为 10,数据集默认 Max tokens 为 100000
IFBench 指令遵循 查看上游 strict / loose 结果及各题规则,不能只看回答是否“像是正确”
MMLU-Pro 多学科知识与推理 Sample 控制抽样数量,默认 12102,可先用少量题目检查链路

以上是目录默认值;个人默认值、导入配置和历史草稿可能覆盖它们。提交前以当前表单和确认内容为准。

参数 含义与使用方式
Concurrency 同时处理的评测请求数量;不是数据集数量,也不是组合并行开关
Max tokens 单次模型回复的输出上限;过小可能截断回答,过大可能增加耗时
Enable thinking 项目发送的思考开关,应与服务支持的格式一致
Temperature / Top P 采样设置,做横向比较时应保持一致
Repeat Times 每道题的重复评测次数,不是 HTTP 重试次数
Repeat Type repeat request 按题目重复请求后统一统计;repeat epoch 分轮执行,用于观察中间结果,不能直接当作相同标准流程比较
extra_body 被测服务的请求扩展 JSON
judge_extra_body 评测模型的请求扩展 JSON,与被测服务扩展分开填写

例如服务需要 reasoning_effort 时,应在相应角色的请求扩展里填写合法 JSON,并确认服务支持该字段。不要把被测模型和 Judge 的参数混写。

查看样本与请求详情

打开运行记录的「详情」,找到每个数据集下面的「样本与请求详情」。组合任务的各数据集可以分别展开,搜索、筛选、分页和选中的题目互相独立。

先按题目 ID 或输入摘要查找,再选择左侧题目,右侧可以查看输入、思考内容、最终回答、参考答案、提取答案、评判规则和已保存的 Judge 信息。运行中的新任务支持显示正在生成的内容;旧任务只展示当时实际保存的数据。

样本视图把三个维度分开:

❗ “评分成功”表示评分流程得到了有效结果,答错、得分为 0 也可能评分成功。响应诊断与评分统计可能重叠,不能直接相加。

通过「查看本题请求」「查看 Judge 请求」进入逐次调用记录,可继续查看 HTTP 状态、耗时、首字等待、结束原因、错误阶段和调用内重试,再通过「返回样本」回到题目列表。

精度测试的样本与请求详情

单个样本的输入输出与请求入口

图 3 已有 IFBench 任务的分类筛选与单题详情。可以看到“评分成功”和“Thinking invalid”同时存在;历史任务缺少的请求过程不会补造。

重试与重跑

「重试」是同一次调用失败后再次发送 HTTP 请求;「重跑」是同一实例进入新的执行轮次。它们与 Repeat Times 指定的实验重复次数不同。

支持的 Runner 会在主流程结束后自动补跑符合条件的实例。当前 GLM 结果区在存在可重跑的连接异常实例、且任务允许操作时,显示「重跑 X 个连接异常实例」。应先修复连接问题,再使用这个入口;不要把答错、正常评分为 0、输出截断或仅 Judge 失败都当成连接异常重跑。

外层「已重跑 X / Y 个实例」表示当前补跑批次的进度;内层请求记录里的重试、重跑是历史调用统计,两者口径不同。

其他精度项目

Kimi Vendor Verifier

此项目独立使用官方 Inspect 流程。选择数据集后检查 Concurrency、Max tokens、Repeat times、Sample limit 及思考设置;Sample limit 留空表示全量。

数据集 原始题目数 默认重复次数 服务要求
OCRBench 1000 1 支持图片输入
MMMU-Pro Vision 1730 1 支持图片输入
AIME2025(K2.x) 30 32 文本推理;不属于上游 K3 验收集合

Thinking API format=kimi 用于 Kimi 格式接口;需要 chat_template_kwargs 的兼容服务使用 opensource;none 不发送 thinking 扩展。Thinking effort=default 不附加 effort / keep 字段,测试 K3 时按要求选择 low、high 或 max。

实例数等于所选题目数乘以重复次数。Score 为官方 Inspect 最终 accuracy 乘以 100;答错不等于执行失败。可下载原始 .eval 日志。中断后重新执行会重新评测所选数据集,不沿用 GLM 特有的连接异常重跑入口。

DeepSWE

DeepSWE v1.1 包含 113 个编程任务,需要 Worker 准备好 Kimi Code 与 Pier 沙箱环境。填写被测服务后,检查单次回复 Token 上限、并发任务数、每个任务尝试次数、任务数量上限和单任务时限。

这里的并发表示同时执行的开发任务,不等于单个 Agent 内的模型请求并发。先使用任务数量上限验证少量任务,再按需要扩大范围。结果中的未通过与执行异常应分别检查,沙箱或基础设施错误不能直接归为模型答错。

选择项目与测试设计

三个项目均使用对应工具的原生执行与结果口径。当前性能表单只开放文本生成,图像、视频、音频是禁用选项。服务由哪个框架部署,不要求压测项目与服务框架同名;应选择支持目标接口和负载的原生适配器。

性能表单按「推理服务 → 数据格式与数据集 → 测试方案 → 扫描组和执行点 → 最终运行点预览」组织。

启动一个随机文本测试

以 vLLM Bench 为例:

  1. 选择集群和 vLLM Bench,填写 Endpoint URL、Model、Tokenizer。
  2. 保持数据格式为「文本」,数据集选 random。
  3. 选择已有测试方案,或点击「+ 新建测试方案」。
  4. 点击「+ 执行点」做单点测试,或「+ 扫描组」比较多个负载。参数在弹窗中编辑,低频参数放在「更多选项」。
  5. 为每个需要变化的参数添加扫描列,并检查「最终运行点预览」中的并发、输入、输出、请求数和速率。
  6. 按实际需要勾选逐点「清缓存」,选择「顺序执行」或「并行执行」。
  7. 点击「提交」,填写说明,选择「仅运行」或「保存并运行」,确认后启动任务。

vLLM Bench 扫描组编辑与运行点预览

图 4 扫描组示例。并发为 1、4、16,其他参数保持固定,预览中展开为 3 个运行点。截图中的编辑草稿没有提交评测。

多个扫描参数按位置配对,不做笛卡尔积。例如:

扫描行 max-concurrency num-prompts random-input-len
1 1 100 1024
2 4 400 4096
3 16 1600 16384

这会生成 3 个运行点。所有扫描列的值数量必须相同;调整并发扫描值不会自动替你增加请求数。

三个项目的常用参数

页面使用原生 CLI 名称,不带前导 --。不同工具中含义接近的参数名称如下:

含义 vLLM Bench SGLang Bench EvalScope
原生接口适配器 backend backend api
请求并发 max-concurrency max-concurrency parallel
正式请求数 num-prompts num-prompts number
请求到达速率 request-rate request-rate rate
随机输入长度 random-input-len random-input-len min-prompt-length / max-prompt-length
随机输出长度 random-output-len random-output-len min-tokens / max-tokens
预热请求 num-warmups warmup-requests warmup-num
请求扩展 extra-body extra-request-body extra-args

这张表用于查找字段,不表示三种工具的生成器、采样或统计完全等价。vLLM / SGLang 表单的请求速率 0 表示不限速;EvalScope 的 rate 使用 -1 表示不限速。也应检查预热、随机种子、长度变化、stream、采样和输出停止条件。

vLLM 的 random-input-len 是不含共享前缀的独有输入长度,random-prefix-len 在更多选项中;最终预览显示总输入。共享前缀占比表示输入设计,不等于实际 Prefix Cache 命中率。

原生扩展 JSON 不能覆盖已有专用入口管理的模型、输入、输出长度或采样字段。温度等已有参数应在对应控件中修改,服务特有的扩展才放入 JSON。

使用自建文本数据集

选择「自建数据集」后填写 dataset-path。这是 Worker 读取的路径,不是把浏览器电脑上的文件上传到 Worker。random 与自建数据集分别保存方案选择和草稿,切换后应重新检查当前选中的方案和最终预览。

自建文本数据集的路径入口

图 5 vLLM Bench 自建数据集入口。路径留空时不能完成有效提交。

三个工具的文件格式不同:

vLLM Bench 使用 dataset-name=custom,JSONL 每行提供 prompt:

{"prompt":"请用三句话解释前缀缓存。"}
{"prompt":"请写一个计算斐波那契数列的 Python 函数。"}

custom-output-len 指定输出上限,默认 256;设为 -1 时从每行的 output_tokens 读取,因此文件也必须包含该字段。面向 chat 服务、希望把原始用户文本交给服务端模板处理时,检查 skip-chat-template。

SGLang Bench 使用 dataset-name=custom,JSONL 每行提供至少两条 conversation 消息,文本字段支持 value 或 content:

{"conversations":[{"from":"human","value":"请解释前缀缓存。"},{"from":"gpt","value":"前缀缓存复用相同输入前缀的计算结果。"}]}

使用 sharegpt-output-len 控制输出,按需设置 sharegpt-context-len。原生加载器会筛选和打乱数据,有效样本少于 num-prompts 时会报错;custom 数据不使用 random 的输入、输出和范围参数。

EvalScope 使用 dataset=line_by_line,每行可以是纯文本、messages 数组或完整请求 JSON。Chat 路由使用 apply-chat-template=true;完整请求中已有的设置按原生加载规则生效。自建数据不使用合成随机输入长度或 prefix-length。

❗ 把精度数据集的题目用于性能压测,只会得到吞吐和时延。比如用 IFBench 的提示词做 custom 数据,不会自动执行 IFBench 指令判分。

缓存与执行方式

vLLM Bench、SGLang Bench 和 EvalScope 新建运行默认逐点清缓存,已明确保存为关闭的配置会保留原设置。「最终运行点预览」中的清缓存选择属于本次运行。全部关闭时,Cache Flush URL 可以留空;任一点开启时,需要提供有效地址。

清缓存发生在相应运行点的预热之前,因此开启清缓存不代表正式测量的每个请求都是冷缓存。历史记录没有保存该字段时显示「未记录」,不能推断为关闭。

「顺序执行」让测试点按顺序运行,每点内部仍使用自己的请求并发,并等待同一接口的其他排队任务。「并行执行」允许组合子测试同时开始,也可能与其他并行任务重叠,结果反映共同负载;原生扫描组内部仍按引擎规则顺序执行。BaaS 无法隔离外部压测带来的负载。

仅运行与保存并运行

「仅运行」直接执行当前设计,不创建或更新性能方案和组件。希望下次继续使用相同设计时,选择保存选项并填写方案名,再点「保存并运行」。

保存已有方案名称会更新该方案,改名会创建另一个方案。方案和组件先保存成功,再提交任务;保存失败时任务不会启动。系统预设只读,已有方案保存了组件快照,后续修改组件不会自动改写其他方案的快照。

性能组件主要保存负载参数;服务地址、模型、API Key、Tokenizer、清缓存地址和逐点清缓存选择在本次提交中检查。需要连同服务地址、模型等一起保存可移植配置时,使用「保存为个人配置」。

运行记录与结果

任务状态与操作

点击运行记录的「详情」可查看执行阶段、基本信息、提交参数、结果和测试配置。页面自动接收任务变化,详情读取失败或实时连接断开不表示后台任务已经停止。

状态或操作 含义
派发、排队、准备 任务正在路由、等待资源或初始化;不一定已经发起正式模型请求
运行中、收集中 正在执行或整理产物,等待终态后再判断任务是否完成
暂停 停止当前执行;进入可恢复状态后按界面提供的「继续」恢复
继续 / 重试 在原记录上重新执行可恢复的工作;失败或超时记录通常显示「重试」,具体能力由项目决定
取消 结束当前任务,需等待取消完成
已成功 执行流程结束并生成结果;仍应检查失败请求数、成功率和评分明细
已失败 / 已超时 查看记录的失败阶段、原始错误、HTTP 状态或进程退出信息,再决定处理方式
更多 展开复制新建、保存配置、公开记录和删除等与当前状态相关的操作

任务继续执行通常要求原推理服务地址仍可用。要换服务地址、模型或另做一组实验时,使用「复制配置并新建」,生成独立任务 ID。管理员在项目支持、任务状态允许时可调整并发等配置;这不是所有用户和所有任务都具备的操作。

精度结果

GLM 精度测评展示上游实际生成的字段,如 score、num_total、num_success、strict / loose 分数等。不同数据集的字段和口径不同,缺少的字段不会自动补零。

判断一次精度实验时,结合分数、有效评分数量、输入输出上限、重复策略、Judge 与异常请求一起看。不要把总任务状态“已成功”等同于所有题目答对。

性能结果与图表

性能结果表保留 Bench 的原生汇总。先看成功请求数、失败数、实际输入输出长度和测量时长,再比较吞吐、TTFT、TPOT、ITL 和端到端时延。

指标 主要反映什么
请求吞吐 req/s 每秒完成请求数
输入 / 输出 token 吞吐 tok/s 相应测量范围内处理输入或生成输出的速率
TTFT 首次输出的等待时间
TPOT 请求在首 Token 之后的平均每 Token 耗时
ITL 流式输出间隔的观测分布,具体按原生工具口径解释
端到端时延 一次请求从发起到结束的总时长
P50 / P99 中位数及尾部时延,不能用均值代替

展开执行点的图表,可以查看热力图、直方图与 CDF、请求过程、时序诊断和客户端时序。多个执行点可同时展开;拖动范围条或在图中框选可缩放时间,双击或使用重置按钮回到全览。

性能任务的时延分布与时序图

图 6 现有性能任务在当前界面中的图表。以该任务实际采集到的指标为准。

热力图用于找出某段时间集中出现的长尾;直方图与 CDF 使用全程有效样本,不随时序窗口缩放改变。服务端吞吐、KV Cache 使用率、Prefix Cache 命中率与客户端统计来自不同观测范围,不能混为同一指标。

单 Token 输出不展示无意义的 TPOT / ITL;非流式或历史任务也可能缺少部分明细。页面不会从均值推造分布。运行总耗时还包含派发、准备和收集,不能直接拿来替代 Bench 原生测量时长计算吞吐。

下载结果与测试配置

按任务和项目实际提供的按钮选择:

测试 JSON 保留项目、参数、执行方式、任务时限以及实际配置中的服务地址和模型,凭据脱敏。它不包含提交人、任务 ID、集群归属、提交描述和时间戳,也不是推理服务的完整部署配置。复现实验还需另行记录权重版本、服务启动参数、硬件和软件版本。

个人配置 公共配置与分享

个人配置

「个人配置」保存自己的可复用测试配置。可以从以下入口保存:提交表单中的「保存为个人配置」、运行记录的「更多」、运行详情的「测试配置」,或个人配置页的「新建配置」。保存配置本身不会运行任务。

个人配置列表

图 7 个人配置包含私有配置和自己已经公开的配置。

新建时选择评测项目、填写名称,使用「表单编辑」设置参数,也可切换「JSON 编辑」上传或粘贴配置。支持组合的项目可以添加、复制、调整顺序和移除测试点。私有配置的描述选填;公开前需要补充说明。

个人配置的表单与 JSON 编辑入口

图 8 直接编辑配置,不需要先运行评测再保存。

在配置列表中点「导入」回到对应项目表单,检查服务、凭据、集群和参数,再正常提交。从自己的配置导入后,可以用「保存个人配置修改」保存回原配置。

配置保存和导出会脱敏凭据,但服务地址、模型名和实验参数仍会保留。导入后补充必要凭据;准备公开时也应确认这些信息适合其他登录用户查看。

公共配置

「公共配置」用于分享测试设计,不依赖某次运行记录。可以直接新建,也可以在运行列表或详情点击「公开配置」,检查名称、描述和参数后发布。

所有登录用户可以搜索和复用公共配置。「复制到个人配置」得到自己的独立副本,修改副本不影响原配置;「导入」或「导入评测表单」仅填充表单,不会自动启动评测。

已公开的配置参数只读。需要修改时,先取消公开再编辑,或使用「复制编辑」创建副本。取消公开会保留自己的个人配置,也不会影响已经提交的任务或别人已复制的配置。描述可以通过描述旁的编辑按钮单独修改。

公开记录与复制新建

操作 分享或复制的内容 是否启动新任务
公开记录 某次任务的详情、结果与可下载产物 否
公开配置 可复用的测试参数 否
复制链接 已公开记录的公共详情链接 否
公开记录并复制链接 先公开当前记录,再复制它的公共链接 否
复制配置并新建 将历史配置带入可编辑的提交表单 确认提交后才启动

公共记录对其他用户只读,提交者可以通过「管理我的任务」回到自己的记录操作。接收者需要用自己的账号登录,分享链接不会让其使用提交者身份。取消公开收回公共访问,不取消任务。

导入测试 JSON

在提交卡片点击「导入测试 JSON」,选择文件或直接粘贴。选文件会替换编辑区内容;确认导入后恢复项目和测试点顺序,再检查并提交。导入本身不会运行评测,也不会保存性能组件或方案。

脱敏值不能直接用于鉴权,导入后需要重新填写。历史测试配置导出仍可导入;多执行点配置中的自建数据路径必须与当前共享数据源一致,不能依靠隐藏的旧路径覆盖表单。

回收站

运行记录只有在非运行态、未公开且页面允许删除时,才能单条或批量删除。公开记录先取消公开;派发、排队、准备、运行、收集、取消中或已经安排继续执行的记录不能直接删除。

个人配置只能删除自己的未公开配置。侧栏「回收站」通过「运行记录 / 测试配置」切换两类内容,支持恢复符合条件的项目。

运行记录与测试配置回收站

图 9 回收站保留 30 天,界面显示保留与恢复规则。

记录和配置自删除起保留 30 天,到期后无法恢复;系统每天北京时间 04:00 清理到期项。恢复任务会保留原 ID、配置、结果和原状态,不会自动运行或公开;恢复配置会回到个人配置。管理员删除的任务也进入原提交者的回收站。

ChatDB 查询与流量测试

进入工作台

当前代码提供侧栏「镜像流量测试 → chatdb」。BaaS 管理提交配置、任务和操作者记录,实际查询与流量任务由已配置的 ChatDB 服务执行。只有当前部署已经配置相应 Worker / ChatDB 服务时才能使用。

ChatDB 任务配置与查询导航

图 10 ChatDB 的实际任务导航。选择一种任务进行配置,或切换到流量查询与分析;可用功能取决于部署的 ChatDB 后端。

查询时先选择集群、时间范围、模型和标签,再按工作台提供的视图查看请求、统计、workload 与缓存相关信息。「复制查询链接」保存当前查询范围和支持的界面选项,其他有权限的用户登录后可以恢复查询;链接不会授予额外权限。

工作台上方分为「任务配置」和「流量查询与分析」。「任务配置」中单选一种任务;「流量查询与分析」下的「流量概览」「请求检索」「维度探索」「查询分析」「命中率分析」用于查看当前实例的已有数据,不是所选任务的结果页。查询后需要执行回放等操作时,先载入 BaaS 的任务配置,再检查并提交。

创建与管理任务

按目的选择实时镜像、离线回放、数据集构建、缓存模拟或其他已提供的任务类型,检查源流量范围、目标服务、流量比例、并发和速度等参数,再确认提交。单请求重放会真正调用目标服务,BaaS 中保存的本次响应与 ChatDB 的原始请求需要分开查看。

任务可在 BaaS 运行记录中跟踪,并通过「打开 ChatDB 详情」查看原生进度和完整结果。工作台提供的运行控制可能包括暂停、继续、停止、流量比例、最大并发、速度倍率及 TPM 设置,以任务类型、状态和账号权限为准;修改最大并发需要管理员权限。

参数修改日志区分“HTTP 请求已接收”和“ChatDB 已确认生效”,同时保存操作者、修改前后值与确认状态。遇到未知结果时先检查日志,不要连续重复提交。运行时调参另存历史,不会改写提交时的测试配置。

❗ 实时镜像和回放都会增加目标服务负载。先确认流量范围和目标地址,再提交任务。

BaaS Skill 使用

安装与登录

侧栏「BaaS Skill」提供当前实例的下载包。将其安装到 Codex 的 skills 目录,按包中的 SKILL.md 使用;也可以在解压后的 Skill 根目录运行自带 CLI。

python scripts/baas_cli.py --help
python scripts/baas_cli.py --json auth status

默认地址是 https://baas.approaching-ai.com。连接其他实例时,在各命令中加 --base-url 实例地址。未登录或会话失效时执行:

python scripts/baas_cli.py --json auth login

命令会打开浏览器授权页,按页面提示登录并允许该请求。会话按 BaaS origin 单独保存,通常无需手动复制浏览器 Cookie。

查看任务与下载结果

python scripts/baas_cli.py --json workers
python scripts/baas_cli.py --json catalog
python scripts/baas_cli.py --json runs list --scope mine --page-size 10
python scripts/baas_cli.py --json runs show 123 --scope mine
python scripts/baas_cli.py --json runs result-files 123 ./run-123-results.zip --scope mine

把示例 123 替换为真实任务 ID。mine 表示自己的记录,public 表示公共记录,admin 表示管理员视图;指定 admin 不会提升账号权限。

也可以直接让 Codex 使用 BaaS Skill,并在请求中说清目的,例如:

在 yc 集群,用 vLLM Bench 测试我提供的服务地址和模型。输入 1024、输出 128 tokens,扫描并发 1、4、16,每点 1000 个请求,不清缓存,顺序执行,仅运行。先给我检查完整参数和预览,再提交。

提交前 Skill 会读取当前目录、Worker 和参数约束,预览完整配置;需要选择或补充的信息应在预览中确认。不要把 API Key 或会话 Cookie 放进共享聊天、截图或命令行参数。

个人默认值与已保存配置

个人默认值用于减少重复填写,「恢复 BaaS 默认值」用于恢复平台默认设置;浏览器草稿用于继续当前未完成的编辑。它们不能代替完整的实验记录。

需要长期复用或交给别人时,保存个人配置、发布公共配置或导出测试 JSON;需要重复使用性能负载组合时,保存性能方案。运行记录保存的是该次已经接受的配置,后续编辑配置或方案不会改写历史任务。

常见问题

URL 已填写 为什么 Model 没有自动出现

先区分项目。精度服务检查 /v1/models 是否可访问、API Key 是否正确、集群是否可达;服务没有模型列表时手动填写实际模型名。性能表单使用原生协议时不会额外请求模型列表,填写 Model 后由工具执行时验证。仅有“地址检查通过”不代表实际推理已经通过。

评测模型返回 HTTP 401 是什么问题

检查「评测模型」角色的 Endpoint、API Key 和集群,确认凭据属于这一个服务。被测服务请求成功不能证明 Judge 的鉴权也正确。

Tokenizer 或 dataset-path 在自己机器上存在 为什么仍然失败

检查所选 Worker 是否能读取同一路径,以及目录内是否包含原生工具需要的 Tokenizer 文件。浏览器电脑、Control Plane 和 Worker 的本地文件系统不一定相同。

提交按钮为什么不可用

查看按钮旁或悬浮提示中的具体原因:集群不可用、缺少项目或测试点、服务参数检查尚未完成、必填路径缺失等。处理后重新检查最终预览,不要只填写任务名称。

已成功 为什么还有失败请求或评分为零

任务成功是执行层面的终态。性能任务可能有失败请求;精度题目可以成功评分但答错。应结合原生结果、评分数量和请求明细判断实验质量。

为什么图表缺少某个指标

先看是否为流式响应、输出是否只有 1 Token,以及这条记录是否保存了原始明细。缺失表示没有可靠数据,不代表该指标为 0。

页面加载超时 是否需要重新提交评测

先用「重试加载」恢复页面读取,或刷新查看原任务。页面请求超时、SSE 重连与任务时限是不同概念;不要在确认原任务状态前重复启动。

如何让结果可复现

保存测试 JSON 和原始结果,记录项目及 Bench 版本、模型权重与部署版本、接口协议、Tokenizer、数据源版本、请求数、输入输出长度、采样、随机种子、预热、清缓存和执行方式。需要复用自建数据时同时保存文件及其校验值;需要公平比较时使用一致负载,并确认没有其他任务共同施压。