BaaS 使用指南
更新日期:2026 年 10 月 17 日
BaaS(Benchmark as a Service)是一套统一的模型评测平台。它负责组织测试任务、调用指定集群中的评测工具、跟踪执行过程,并保存测试配置和结果。你可以用它做精度评测、文本生成性能测试,也可以通过 ChatDB 查询和回放已有请求。
本指南适用于当前代码版本。配图来自对应开发环境的实际界面;截图中的集群、模型、路径和历史任务仅作操作示例,请替换为自己的测试环境。项目版本和可用集群以当前页面为准。
登录与测试前准备
登录
访问 BaaS 生产环境,使用公司统一 OIDC / Authentik 账号登录。首次使用统一账号或遇到认证问题时,可参考 研发新同事入职 SOP 中的账号说明。
登录后,默认进入「运行记录」。上半部分用于提交评测,下半部分显示自己的历史任务;侧栏提供公共记录、个人配置、公共配置、回收站、使用指南和 BaaS Skill。管理员另有「所有记录」入口。
图 1 运行记录页面。顶部统计对应当前账号,管理员查看所有记录时也不会把其他人的任务计入自己的统计。
准备被测服务
❗ BaaS 不负责启动推理服务。提交前请先部署模型,并确认所选 BaaS 集群能够访问服务地址。
「集群」决定实际发起请求的 Worker。服务地址、Tokenizer 和数据集文件路径都从这个 Worker 的环境解析。你自己电脑上的 127.0.0.1、本地文件和 SSH 隧道,不会自动变成 Worker 可访问的资源。
先准备以下信息:
| 信息 | 如何填写 |
|---|---|
| 集群 | 选择与被测服务网络互通、状态正常且支持该项目的集群 |
| Endpoint URL | 填写服务实际使用的 HTTP(S) 推理地址,优先使用完整接口路径 |
| Model | 填写服务接受的模型名,注意部署名或别名可能与模型目录名不同 |
| API Key | 需要鉴权时填写;无鉴权的服务留空 |
| Tokenizer | 性能测试需要时填写 Worker 可读取的模型目录或原生工具支持的 Tokenizer 标识 |
| Cache Flush URL | 三个性能项目默认逐点清缓存;开启时填写服务提供的清缓存地址 |
精度项目通常使用 Chat Completions 接口,例如 http://服务地址:端口/v1/chat/completions。常见文本性能测试可使用 /v1/completions 或 /v1/chat/completions,也可按项目提供的 backend / api 选择相应原生协议。
精度项目可以检测服务协议和模型列表;服务不提供 /v1/models 时,可手动填写实际模型名。性能项目按所选原生适配器执行,页面可能显示「未发送额外推理探测」「由原生工具在执行时验证」,此时无需等待模型列表自动出现。
选择评测项目
| 目的 | 项目 | 主要用途 |
|---|---|---|
| GLM 精度测评 | GLM-OpenEvals | AA-LCR、AIME25、GPQA、IFBench、MMLU-Pro |
| Kimi 官方专项评测 | Kimi Vendor Verifier | OCRBench、MMMU-Pro Vision、AIME2025(K2.x) |
| 编程任务评测 | DeepSWE | 在隔离仓库和沙箱中执行开发任务,再由测试环境验收 |
| 文本性能测试 | vLLM Bench、SGLang Bench、EvalScope | 测量吞吐、时延,并组织多组负载对比 |
| 已有流量分析与回放 | chatdb | 查询请求、构建数据集、实时镜像、离线回放及缓存分析 |
选择集群、项目后再填写对应参数。切换项目或数据集时仍应检查推理地址、模型和已恢复的参数;页面可能沿用之前的个人默认值或浏览器草稿。
GLM 精度测评
被测模型与评测模型
「推理服务」是被测模型;「评测模型」用于项目所需的答案提取或评分。两者可以使用不同集群、不同地址、不同模型和不同凭据。评测模型既可以是自建服务,也可以是商业模型 API;请选择能访问它的集群。
❗ 用于对外比较的测试应明确记录 Judge。使用被测模型给自身评分时,请标明 Self-Judge;页面出现相关风险提示后,应检查设置再确认。
启动一个测试
以 IFBench 为例:
- 在「运行记录」上方选择集群和
GLM-OpenEvals。 - 填写被测服务的 Endpoint URL 和 Model,检查检测结果。
- 填写评测模型的 Cluster、Endpoint URL、Model,以及必要的 API Key。
- 勾选
IFBench。也可以同时勾选多个数据集,作为一个组合任务提交。 - 检查该数据集的 Concurrency、Max tokens、Enable thinking;采样与请求扩展等参数在「更多选项」中。
- 选择执行方式。需要逐项比较时使用「顺序执行」。
- 点击「提交」,在「确认本次评测」中填写测试目的或变更说明,检查后确认运行。
图 2 GLM 精度测评表单。示例中两个角色使用同一模型,因此出现 Self-Judge 提示;实际评测请按实验要求配置。图中数值是当前表单值,不代表所有数据集的默认值。
数据集与参数
| 数据集 | 测试内容 | 需要关注的设置 |
|---|---|---|
| AA-LCR | 长上下文理解 | 模型上下文容量;默认 Concurrency 为 1,Repeat Times 为 3 |
| AIME25 | 数学推理 | 默认 Repeat Times 为 32,修改重复次数会改变实际实例数 |
| GPQA | 高难度科学问答 | 默认 Repeat Times 为 10,数据集默认 Max tokens 为 100000 |
| IFBench | 指令遵循 | 查看上游 strict / loose 结果及各题规则,不能只看回答是否“像是正确” |
| MMLU-Pro | 多学科知识与推理 | Sample 控制抽样数量,默认 12102,可先用少量题目检查链路 |
以上是目录默认值;个人默认值、导入配置和历史草稿可能覆盖它们。提交前以当前表单和确认内容为准。
| 参数 | 含义与使用方式 |
|---|---|
| Concurrency | 同时处理的评测请求数量;不是数据集数量,也不是组合并行开关 |
| Max tokens | 单次模型回复的输出上限;过小可能截断回答,过大可能增加耗时 |
| Enable thinking | 项目发送的思考开关,应与服务支持的格式一致 |
| Temperature / Top P | 采样设置,做横向比较时应保持一致 |
| Repeat Times | 每道题的重复评测次数,不是 HTTP 重试次数 |
| Repeat Type | repeat request 按题目重复请求后统一统计;repeat epoch 分轮执行,用于观察中间结果,不能直接当作相同标准流程比较 |
| extra_body | 被测服务的请求扩展 JSON |
| judge_extra_body | 评测模型的请求扩展 JSON,与被测服务扩展分开填写 |
例如服务需要 reasoning_effort 时,应在相应角色的请求扩展里填写合法 JSON,并确认服务支持该字段。不要把被测模型和 Judge 的参数混写。
查看样本与请求详情
打开运行记录的「详情」,找到每个数据集下面的「样本与请求详情」。组合任务的各数据集可以分别展开,搜索、筛选、分页和选中的题目互相独立。
先按题目 ID 或输入摘要查找,再选择左侧题目,右侧可以查看输入、思考内容、最终回答、参考答案、提取答案、评判规则和已保存的 Judge 信息。运行中的新任务支持显示正在生成的内容;旧任务只展示当时实际保存的数据。
样本视图把三个维度分开:
- 执行状态:这道题还在处理、已经完成,还是被中断。
- 评分结果:是否产生有效评分;评分成功后再区分答案正确与错误。
- 响应诊断:是否截断、Thinking invalid 或响应不完整等,可与有效评分同时出现。
❗ “评分成功”表示评分流程得到了有效结果,答错、得分为 0 也可能评分成功。响应诊断与评分统计可能重叠,不能直接相加。
通过「查看本题请求」「查看 Judge 请求」进入逐次调用记录,可继续查看 HTTP 状态、耗时、首字等待、结束原因、错误阶段和调用内重试,再通过「返回样本」回到题目列表。
图 3 已有 IFBench 任务的分类筛选与单题详情。可以看到“评分成功”和“Thinking invalid”同时存在;历史任务缺少的请求过程不会补造。
重试与重跑
「重试」是同一次调用失败后再次发送 HTTP 请求;「重跑」是同一实例进入新的执行轮次。它们与 Repeat Times 指定的实验重复次数不同。
支持的 Runner 会在主流程结束后自动补跑符合条件的实例。当前 GLM 结果区在存在可重跑的连接异常实例、且任务允许操作时,显示「重跑 X 个连接异常实例」。应先修复连接问题,再使用这个入口;不要把答错、正常评分为 0、输出截断或仅 Judge 失败都当成连接异常重跑。
外层「已重跑 X / Y 个实例」表示当前补跑批次的进度;内层请求记录里的重试、重跑是历史调用统计,两者口径不同。
其他精度项目
Kimi Vendor Verifier
此项目独立使用官方 Inspect 流程。选择数据集后检查 Concurrency、Max tokens、Repeat times、Sample limit 及思考设置;Sample limit 留空表示全量。
| 数据集 | 原始题目数 | 默认重复次数 | 服务要求 |
|---|---|---|---|
| OCRBench | 1000 | 1 | 支持图片输入 |
| MMMU-Pro Vision | 1730 | 1 | 支持图片输入 |
| AIME2025(K2.x) | 30 | 32 | 文本推理;不属于上游 K3 验收集合 |
Thinking API format=kimi 用于 Kimi 格式接口;需要 chat_template_kwargs 的兼容服务使用 opensource;none 不发送 thinking 扩展。Thinking effort=default 不附加 effort / keep 字段,测试 K3 时按要求选择 low、high 或 max。
实例数等于所选题目数乘以重复次数。Score 为官方 Inspect 最终 accuracy 乘以 100;答错不等于执行失败。可下载原始 .eval 日志。中断后重新执行会重新评测所选数据集,不沿用 GLM 特有的连接异常重跑入口。
DeepSWE
DeepSWE v1.1 包含 113 个编程任务,需要 Worker 准备好 Kimi Code 与 Pier 沙箱环境。填写被测服务后,检查单次回复 Token 上限、并发任务数、每个任务尝试次数、任务数量上限和单任务时限。
这里的并发表示同时执行的开发任务,不等于单个 Agent 内的模型请求并发。先使用任务数量上限验证少量任务,再按需要扩大范围。结果中的未通过与执行异常应分别检查,沙箱或基础设施错误不能直接归为模型答错。
选择项目与测试设计
三个项目均使用对应工具的原生执行与结果口径。当前性能表单只开放文本生成,图像、视频、音频是禁用选项。服务由哪个框架部署,不要求压测项目与服务框架同名;应选择支持目标接口和负载的原生适配器。
性能表单按「推理服务 → 数据格式与数据集 → 测试方案 → 扫描组和执行点 → 最终运行点预览」组织。
- 执行点:一组固定参数,例如并发 4、输入 1024 tokens、输出 128 tokens、1000 个请求。
- 扫描组:固定其他参数,按给定值依次生成多个执行点,例如并发
1 4 16。 - 测试方案:按选定顺序组合扫描组与固定执行点,方便重复使用。
启动一个随机文本测试
以 vLLM Bench 为例:
- 选择集群和
vLLM Bench,填写 Endpoint URL、Model、Tokenizer。 - 保持数据格式为「文本」,数据集选
random。 - 选择已有测试方案,或点击「+ 新建测试方案」。
- 点击「+ 执行点」做单点测试,或「+ 扫描组」比较多个负载。参数在弹窗中编辑,低频参数放在「更多选项」。
- 为每个需要变化的参数添加扫描列,并检查「最终运行点预览」中的并发、输入、输出、请求数和速率。
- 按实际需要勾选逐点「清缓存」,选择「顺序执行」或「并行执行」。
- 点击「提交」,填写说明,选择「仅运行」或「保存并运行」,确认后启动任务。
图 4 扫描组示例。并发为 1、4、16,其他参数保持固定,预览中展开为 3 个运行点。截图中的编辑草稿没有提交评测。
多个扫描参数按位置配对,不做笛卡尔积。例如:
| 扫描行 | max-concurrency | num-prompts | random-input-len |
|---|---|---|---|
| 1 | 1 | 100 | 1024 |
| 2 | 4 | 400 | 4096 |
| 3 | 16 | 1600 | 16384 |
这会生成 3 个运行点。所有扫描列的值数量必须相同;调整并发扫描值不会自动替你增加请求数。
三个项目的常用参数
页面使用原生 CLI 名称,不带前导 --。不同工具中含义接近的参数名称如下:
| 含义 | vLLM Bench | SGLang Bench | EvalScope |
|---|---|---|---|
| 原生接口适配器 | backend | backend | api |
| 请求并发 | max-concurrency | max-concurrency | parallel |
| 正式请求数 | num-prompts | num-prompts | number |
| 请求到达速率 | request-rate | request-rate | rate |
| 随机输入长度 | random-input-len | random-input-len | min-prompt-length / max-prompt-length |
| 随机输出长度 | random-output-len | random-output-len | min-tokens / max-tokens |
| 预热请求 | num-warmups | warmup-requests | warmup-num |
| 请求扩展 | extra-body | extra-request-body | extra-args |
这张表用于查找字段,不表示三种工具的生成器、采样或统计完全等价。vLLM / SGLang 表单的请求速率 0 表示不限速;EvalScope 的 rate 使用 -1 表示不限速。也应检查预热、随机种子、长度变化、stream、采样和输出停止条件。
vLLM 的 random-input-len 是不含共享前缀的独有输入长度,random-prefix-len 在更多选项中;最终预览显示总输入。共享前缀占比表示输入设计,不等于实际 Prefix Cache 命中率。
原生扩展 JSON 不能覆盖已有专用入口管理的模型、输入、输出长度或采样字段。温度等已有参数应在对应控件中修改,服务特有的扩展才放入 JSON。
使用自建文本数据集
选择「自建数据集」后填写 dataset-path。这是 Worker 读取的路径,不是把浏览器电脑上的文件上传到 Worker。random 与自建数据集分别保存方案选择和草稿,切换后应重新检查当前选中的方案和最终预览。
图 5 vLLM Bench 自建数据集入口。路径留空时不能完成有效提交。
三个工具的文件格式不同:
vLLM Bench 使用 dataset-name=custom,JSONL 每行提供 prompt:
{"prompt":"请用三句话解释前缀缓存。"}
{"prompt":"请写一个计算斐波那契数列的 Python 函数。"}
custom-output-len 指定输出上限,默认 256;设为 -1 时从每行的 output_tokens 读取,因此文件也必须包含该字段。面向 chat 服务、希望把原始用户文本交给服务端模板处理时,检查 skip-chat-template。
SGLang Bench 使用 dataset-name=custom,JSONL 每行提供至少两条 conversation 消息,文本字段支持 value 或 content:
{"conversations":[{"from":"human","value":"请解释前缀缓存。"},{"from":"gpt","value":"前缀缓存复用相同输入前缀的计算结果。"}]}
使用 sharegpt-output-len 控制输出,按需设置 sharegpt-context-len。原生加载器会筛选和打乱数据,有效样本少于 num-prompts 时会报错;custom 数据不使用 random 的输入、输出和范围参数。
EvalScope 使用 dataset=line_by_line,每行可以是纯文本、messages 数组或完整请求 JSON。Chat 路由使用 apply-chat-template=true;完整请求中已有的设置按原生加载规则生效。自建数据不使用合成随机输入长度或 prefix-length。
❗ 把精度数据集的题目用于性能压测,只会得到吞吐和时延。比如用 IFBench 的提示词做 custom 数据,不会自动执行 IFBench 指令判分。
缓存与执行方式
vLLM Bench、SGLang Bench 和 EvalScope 新建运行默认逐点清缓存,已明确保存为关闭的配置会保留原设置。「最终运行点预览」中的清缓存选择属于本次运行。全部关闭时,Cache Flush URL 可以留空;任一点开启时,需要提供有效地址。
清缓存发生在相应运行点的预热之前,因此开启清缓存不代表正式测量的每个请求都是冷缓存。历史记录没有保存该字段时显示「未记录」,不能推断为关闭。
「顺序执行」让测试点按顺序运行,每点内部仍使用自己的请求并发,并等待同一接口的其他排队任务。「并行执行」允许组合子测试同时开始,也可能与其他并行任务重叠,结果反映共同负载;原生扫描组内部仍按引擎规则顺序执行。BaaS 无法隔离外部压测带来的负载。
仅运行与保存并运行
「仅运行」直接执行当前设计,不创建或更新性能方案和组件。希望下次继续使用相同设计时,选择保存选项并填写方案名,再点「保存并运行」。
保存已有方案名称会更新该方案,改名会创建另一个方案。方案和组件先保存成功,再提交任务;保存失败时任务不会启动。系统预设只读,已有方案保存了组件快照,后续修改组件不会自动改写其他方案的快照。
性能组件主要保存负载参数;服务地址、模型、API Key、Tokenizer、清缓存地址和逐点清缓存选择在本次提交中检查。需要连同服务地址、模型等一起保存可移植配置时,使用「保存为个人配置」。
运行记录与结果
任务状态与操作
点击运行记录的「详情」可查看执行阶段、基本信息、提交参数、结果和测试配置。页面自动接收任务变化,详情读取失败或实时连接断开不表示后台任务已经停止。
| 状态或操作 | 含义 |
|---|---|
| 派发、排队、准备 | 任务正在路由、等待资源或初始化;不一定已经发起正式模型请求 |
| 运行中、收集中 | 正在执行或整理产物,等待终态后再判断任务是否完成 |
| 暂停 | 停止当前执行;进入可恢复状态后按界面提供的「继续」恢复 |
| 继续 / 重试 | 在原记录上重新执行可恢复的工作;失败或超时记录通常显示「重试」,具体能力由项目决定 |
| 取消 | 结束当前任务,需等待取消完成 |
| 已成功 | 执行流程结束并生成结果;仍应检查失败请求数、成功率和评分明细 |
| 已失败 / 已超时 | 查看记录的失败阶段、原始错误、HTTP 状态或进程退出信息,再决定处理方式 |
| 更多 | 展开复制新建、保存配置、公开记录和删除等与当前状态相关的操作 |
任务继续执行通常要求原推理服务地址仍可用。要换服务地址、模型或另做一组实验时,使用「复制配置并新建」,生成独立任务 ID。管理员在项目支持、任务状态允许时可调整并发等配置;这不是所有用户和所有任务都具备的操作。
精度结果
GLM 精度测评展示上游实际生成的字段,如 score、num_total、num_success、strict / loose 分数等。不同数据集的字段和口径不同,缺少的字段不会自动补零。
判断一次精度实验时,结合分数、有效评分数量、输入输出上限、重复策略、Judge 与异常请求一起看。不要把总任务状态“已成功”等同于所有题目答对。
性能结果与图表
性能结果表保留 Bench 的原生汇总。先看成功请求数、失败数、实际输入输出长度和测量时长,再比较吞吐、TTFT、TPOT、ITL 和端到端时延。
| 指标 | 主要反映什么 |
|---|---|
| 请求吞吐 req/s | 每秒完成请求数 |
| 输入 / 输出 token 吞吐 tok/s | 相应测量范围内处理输入或生成输出的速率 |
| TTFT | 首次输出的等待时间 |
| TPOT | 请求在首 Token 之后的平均每 Token 耗时 |
| ITL | 流式输出间隔的观测分布,具体按原生工具口径解释 |
| 端到端时延 | 一次请求从发起到结束的总时长 |
| P50 / P99 | 中位数及尾部时延,不能用均值代替 |
展开执行点的图表,可以查看热力图、直方图与 CDF、请求过程、时序诊断和客户端时序。多个执行点可同时展开;拖动范围条或在图中框选可缩放时间,双击或使用重置按钮回到全览。
图 6 现有性能任务在当前界面中的图表。以该任务实际采集到的指标为准。
热力图用于找出某段时间集中出现的长尾;直方图与 CDF 使用全程有效样本,不随时序窗口缩放改变。服务端吞吐、KV Cache 使用率、Prefix Cache 命中率与客户端统计来自不同观测范围,不能混为同一指标。
单 Token 输出不展示无意义的 TPOT / ITL;非流式或历史任务也可能缺少部分明细。页面不会从均值推造分布。运行总耗时还包含派发、准备和收集,不能直接拿来替代 Bench 原生测量时长计算吞吐。
下载结果与测试配置
按任务和项目实际提供的按钮选择:
- 「下载结果文件」获取该任务可用的结果产物。
- 「下载当前结果快照」用于支持的 GLM 任务,在已有记录时保存当时的结果与进度,不必等整轮结束。
- 「导出结果图表」用于汇报当前结果。
- 「复制测试 JSON」「下载测试配置 JSON」保存可复用的测试配置。
测试 JSON 保留项目、参数、执行方式、任务时限以及实际配置中的服务地址和模型,凭据脱敏。它不包含提交人、任务 ID、集群归属、提交描述和时间戳,也不是推理服务的完整部署配置。复现实验还需另行记录权重版本、服务启动参数、硬件和软件版本。
个人配置 公共配置与分享
个人配置
「个人配置」保存自己的可复用测试配置。可以从以下入口保存:提交表单中的「保存为个人配置」、运行记录的「更多」、运行详情的「测试配置」,或个人配置页的「新建配置」。保存配置本身不会运行任务。
图 7 个人配置包含私有配置和自己已经公开的配置。
新建时选择评测项目、填写名称,使用「表单编辑」设置参数,也可切换「JSON 编辑」上传或粘贴配置。支持组合的项目可以添加、复制、调整顺序和移除测试点。私有配置的描述选填;公开前需要补充说明。
图 8 直接编辑配置,不需要先运行评测再保存。
在配置列表中点「导入」回到对应项目表单,检查服务、凭据、集群和参数,再正常提交。从自己的配置导入后,可以用「保存个人配置修改」保存回原配置。
配置保存和导出会脱敏凭据,但服务地址、模型名和实验参数仍会保留。导入后补充必要凭据;准备公开时也应确认这些信息适合其他登录用户查看。
公共配置
「公共配置」用于分享测试设计,不依赖某次运行记录。可以直接新建,也可以在运行列表或详情点击「公开配置」,检查名称、描述和参数后发布。
所有登录用户可以搜索和复用公共配置。「复制到个人配置」得到自己的独立副本,修改副本不影响原配置;「导入」或「导入评测表单」仅填充表单,不会自动启动评测。
已公开的配置参数只读。需要修改时,先取消公开再编辑,或使用「复制编辑」创建副本。取消公开会保留自己的个人配置,也不会影响已经提交的任务或别人已复制的配置。描述可以通过描述旁的编辑按钮单独修改。
公开记录与复制新建
| 操作 | 分享或复制的内容 | 是否启动新任务 |
|---|---|---|
| 公开记录 | 某次任务的详情、结果与可下载产物 | 否 |
| 公开配置 | 可复用的测试参数 | 否 |
| 复制链接 | 已公开记录的公共详情链接 | 否 |
| 公开记录并复制链接 | 先公开当前记录,再复制它的公共链接 | 否 |
| 复制配置并新建 | 将历史配置带入可编辑的提交表单 | 确认提交后才启动 |
公共记录对其他用户只读,提交者可以通过「管理我的任务」回到自己的记录操作。接收者需要用自己的账号登录,分享链接不会让其使用提交者身份。取消公开收回公共访问,不取消任务。
导入测试 JSON
在提交卡片点击「导入测试 JSON」,选择文件或直接粘贴。选文件会替换编辑区内容;确认导入后恢复项目和测试点顺序,再检查并提交。导入本身不会运行评测,也不会保存性能组件或方案。
脱敏值不能直接用于鉴权,导入后需要重新填写。历史测试配置导出仍可导入;多执行点配置中的自建数据路径必须与当前共享数据源一致,不能依靠隐藏的旧路径覆盖表单。
回收站
运行记录只有在非运行态、未公开且页面允许删除时,才能单条或批量删除。公开记录先取消公开;派发、排队、准备、运行、收集、取消中或已经安排继续执行的记录不能直接删除。
个人配置只能删除自己的未公开配置。侧栏「回收站」通过「运行记录 / 测试配置」切换两类内容,支持恢复符合条件的项目。
图 9 回收站保留 30 天,界面显示保留与恢复规则。
记录和配置自删除起保留 30 天,到期后无法恢复;系统每天北京时间 04:00 清理到期项。恢复任务会保留原 ID、配置、结果和原状态,不会自动运行或公开;恢复配置会回到个人配置。管理员删除的任务也进入原提交者的回收站。
ChatDB 查询与流量测试
进入工作台
当前代码提供侧栏「镜像流量测试 → chatdb」。BaaS 管理提交配置、任务和操作者记录,实际查询与流量任务由已配置的 ChatDB 服务执行。只有当前部署已经配置相应 Worker / ChatDB 服务时才能使用。
图 10 ChatDB 的实际任务导航。选择一种任务进行配置,或切换到流量查询与分析;可用功能取决于部署的 ChatDB 后端。
查询时先选择集群、时间范围、模型和标签,再按工作台提供的视图查看请求、统计、workload 与缓存相关信息。「复制查询链接」保存当前查询范围和支持的界面选项,其他有权限的用户登录后可以恢复查询;链接不会授予额外权限。
工作台上方分为「任务配置」和「流量查询与分析」。「任务配置」中单选一种任务;「流量查询与分析」下的「流量概览」「请求检索」「维度探索」「查询分析」「命中率分析」用于查看当前实例的已有数据,不是所选任务的结果页。查询后需要执行回放等操作时,先载入 BaaS 的任务配置,再检查并提交。
创建与管理任务
按目的选择实时镜像、离线回放、数据集构建、缓存模拟或其他已提供的任务类型,检查源流量范围、目标服务、流量比例、并发和速度等参数,再确认提交。单请求重放会真正调用目标服务,BaaS 中保存的本次响应与 ChatDB 的原始请求需要分开查看。
任务可在 BaaS 运行记录中跟踪,并通过「打开 ChatDB 详情」查看原生进度和完整结果。工作台提供的运行控制可能包括暂停、继续、停止、流量比例、最大并发、速度倍率及 TPM 设置,以任务类型、状态和账号权限为准;修改最大并发需要管理员权限。
参数修改日志区分“HTTP 请求已接收”和“ChatDB 已确认生效”,同时保存操作者、修改前后值与确认状态。遇到未知结果时先检查日志,不要连续重复提交。运行时调参另存历史,不会改写提交时的测试配置。
❗ 实时镜像和回放都会增加目标服务负载。先确认流量范围和目标地址,再提交任务。
BaaS Skill 使用
安装与登录
侧栏「BaaS Skill」提供当前实例的下载包。将其安装到 Codex 的 skills 目录,按包中的 SKILL.md 使用;也可以在解压后的 Skill 根目录运行自带 CLI。
python scripts/baas_cli.py --help
python scripts/baas_cli.py --json auth status
默认地址是 https://baas.approaching-ai.com。连接其他实例时,在各命令中加 --base-url 实例地址。未登录或会话失效时执行:
python scripts/baas_cli.py --json auth login
命令会打开浏览器授权页,按页面提示登录并允许该请求。会话按 BaaS origin 单独保存,通常无需手动复制浏览器 Cookie。
查看任务与下载结果
python scripts/baas_cli.py --json workers
python scripts/baas_cli.py --json catalog
python scripts/baas_cli.py --json runs list --scope mine --page-size 10
python scripts/baas_cli.py --json runs show 123 --scope mine
python scripts/baas_cli.py --json runs result-files 123 ./run-123-results.zip --scope mine
把示例 123 替换为真实任务 ID。mine 表示自己的记录,public 表示公共记录,admin 表示管理员视图;指定 admin 不会提升账号权限。
也可以直接让 Codex 使用 BaaS Skill,并在请求中说清目的,例如:
在 yc 集群,用 vLLM Bench 测试我提供的服务地址和模型。输入 1024、输出 128 tokens,扫描并发 1、4、16,每点 1000 个请求,不清缓存,顺序执行,仅运行。先给我检查完整参数和预览,再提交。
提交前 Skill 会读取当前目录、Worker 和参数约束,预览完整配置;需要选择或补充的信息应在预览中确认。不要把 API Key 或会话 Cookie 放进共享聊天、截图或命令行参数。
个人默认值与已保存配置
个人默认值用于减少重复填写,「恢复 BaaS 默认值」用于恢复平台默认设置;浏览器草稿用于继续当前未完成的编辑。它们不能代替完整的实验记录。
需要长期复用或交给别人时,保存个人配置、发布公共配置或导出测试 JSON;需要重复使用性能负载组合时,保存性能方案。运行记录保存的是该次已经接受的配置,后续编辑配置或方案不会改写历史任务。
常见问题
URL 已填写 为什么 Model 没有自动出现
先区分项目。精度服务检查 /v1/models 是否可访问、API Key 是否正确、集群是否可达;服务没有模型列表时手动填写实际模型名。性能表单使用原生协议时不会额外请求模型列表,填写 Model 后由工具执行时验证。仅有“地址检查通过”不代表实际推理已经通过。
评测模型返回 HTTP 401 是什么问题
检查「评测模型」角色的 Endpoint、API Key 和集群,确认凭据属于这一个服务。被测服务请求成功不能证明 Judge 的鉴权也正确。
Tokenizer 或 dataset-path 在自己机器上存在 为什么仍然失败
检查所选 Worker 是否能读取同一路径,以及目录内是否包含原生工具需要的 Tokenizer 文件。浏览器电脑、Control Plane 和 Worker 的本地文件系统不一定相同。
提交按钮为什么不可用
查看按钮旁或悬浮提示中的具体原因:集群不可用、缺少项目或测试点、服务参数检查尚未完成、必填路径缺失等。处理后重新检查最终预览,不要只填写任务名称。
已成功 为什么还有失败请求或评分为零
任务成功是执行层面的终态。性能任务可能有失败请求;精度题目可以成功评分但答错。应结合原生结果、评分数量和请求明细判断实验质量。
为什么图表缺少某个指标
先看是否为流式响应、输出是否只有 1 Token,以及这条记录是否保存了原始明细。缺失表示没有可靠数据,不代表该指标为 0。
页面加载超时 是否需要重新提交评测
先用「重试加载」恢复页面读取,或刷新查看原任务。页面请求超时、SSE 重连与任务时限是不同概念;不要在确认原任务状态前重复启动。
如何让结果可复现
保存测试 JSON 和原始结果,记录项目及 Bench 版本、模型权重与部署版本、接口协议、Tokenizer、数据源版本、请求数、输入输出长度、采样、随机种子、预热、清缓存和执行方式。需要复用自建数据时同时保存文件及其校验值;需要公平比较时使用一致负载,并确认没有其他任务共同施压。