dsh-gray-test

Readme

# dsh-gray-test 灰度模型检测插件

灰度模型检测工具：一键开测 N 个并发 dsh 会话（V4 Pro + max 思考），流式监听思维链实时判定：

- **灰度神模型**：主信号——`I'm/I'll + 动词ing`（doing 风格）计数超过 `Let me` 的 5 倍（实测灰度 ≈38:1，正常 ≈0.3:1，分隔清晰）
- **正常模型**：`Let me` 出现 ≥3 次且未达灰度比例（官方 V4 Pro 模板化复述 CoT 特征），判定后掐断会话
- **异常模型**：未出现任何特征（如中文思维链等），完整跑完

统计灰度出现率（灰度数/总会话数）。

## 安装

1. 把本目录放到 dsh 插件的 plugins 目录（如 `~/.dsh/plugins/dsh-gray-test` 或 dsh 配置的 plugins 目录）
2. 安装依赖：`npm install`
3. 构建前端：`npm run build`
4. 重启 dsh，设置页出现「灰度测试」入口

## 配置 API Key（重要）

本插件**不内置任何 API Key**——它使用 dsh 宿主的 `deepseek-official` provider（官方路由）。

**添加 Key 的方法**（二选一）：

### 方法一：dsh 设置页（推荐）
1. 打开 dsh 的 Settings → Models / Credentials
2. 找到 `deepseek-official` provider
3. 填入你自己的 DeepSeek API Key（格式：`sk-...`）
4. 保存后重启 dsh

### 方法二：配置文件
1. 编辑 dsh 的配置文件（`~/.dsh/` 下的 credentials 或 config）
2. 在 `deepseek-official` provider 下添加：
   ```json
   { "apiKey": "sk-你的key" }
   ```
3. 保存后重启 dsh

> ⚠️ 没有配置 Key 时插件无法工作（会报 provider 认证失败）。
> ⚠️ 请使用你自己的 Key——不要使用他人的 Key，避免泄露和封号风险。

## 使用

1. 设置页 → 灰度测试
2. 配置并发数（1-100）、模型（deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp）、思考强度（off ~ max）和预设
3. 点击「开始测试」→ 流式监听思维链 → 查看灰度出现率

## 设置页图形化界面说明

安装并重启 dsh 后，进入 **设置页 → 插件 → 灰度测试**，界面从上到下分为 5 个区域：

### ① 测试控制区（顶部）

- **状态徽标**：`○ 空闲` / `● 测试运行中`（运行中变橙）
- **并发数输入框**：1-100，决定同时开多少个测试会话（默认 20）
- **「开始测试」按钮**：一键开测（运行中禁用）
- **「停止」按钮**：终止当前测试（仅在运行中可用）

### ② 实时统计区（测试开始后出现）

四张统计卡片实时更新（每 2 秒刷新）：

| 卡片 | 含义 |
|---|---|
| 总会话 | 本次测试创建的会话数 |
| 灰度神模型 | `I'm+动词ing` 计数超过 `Let me`×5 的会话数（主信号，不掐断） |
| 正常模型(Let me) | `Let me` ≥3 且未达灰度比例的会话数（判定后掐断） |
| 运行中 | 尚未出结果的会话数 |

下方同时显示 **灰度出现率**（灰度数/总会话数）和 **上次测试结果**（如 `上次结果（时间）：共 20，灰度 3（15%），正常 16，异常 1`）。

### ③ 判定说明

实时判定逻辑（每 2 秒刷新）：

1. **灰度判定**（优先，不掐断）：`I'm/I'll + 动词ing`（排除 `going to`）计数 > `Let me` 计数 × 5 → 标记灰度，完整跑完并计入灰度数
2. **正常判定**：`Let me` ≥ 3 次且未达灰度比例 → 判定正常，立即掐断会话（省额度）
3. **异常模型**：全程未出现任何特征（既无 `Let me` 也无 `I'm+动词ing`——如模型用中文思维链），完整跑完——非官方模板、非灰度风格，视为异常

辅助信号：吐字速率 < 40 token/s（约 100 字符/秒）标记 **慢**——灰度模型吐字显著更慢。

### ④ 模型 / 思考强度 / 预设（配置区）

- **model 下拉**：来自 DS 官方路由（deepseek-v4-flash / deepseek-v4-pro / deepseek-v4-flash-vision-exp）
- **思考强度下拉**：off / minimal / low / medium / high / xhigh / max
- **预设下拉**：标准/PTC/极简/创造 + `.agent-presets` 下的自定义预设（自动发现）
- **「保存配置」按钮**：保存后下次开测生效（运行中修改不影响当前测试）
- provider 固定 `deepseek-official`（灰度检测仅针对 DS 官方路由）

### ⑤ 测试提示词（任务区）

- **textarea**：本次测试发给每个会话的任务提示词（默认：`3d场景，一辆怪兽卡车压碎一排汽车，场景细腻真实，给我html呈现，符合物理特性`）
- **「保存提示词」按钮**：保存后下次开测生效（运行中修改不影响当前测试）

> 💡 提示：测试输出写入 `~/gray-test-runs/`（每个会话独立子目录），可在工作区查看各会话的完整产出。

## 预设（v2 新增）

测试会话可选用 dsh 内置的四种 Agent 预设：

| 预设 id | 名称 | 说明 |
|---|---|---|
| `standard` | 标准模式 | 功能完整的编码 Agent（默认） |
| `code` | PTC 模式 | 标准全部能力 + Code Mode SDK 呈现工具（TypeScript 程序组合多步操作） |
| `minimal` | 极简模式 | 仅持久 bash 与 str_replace_editor 的双工具编码 Agent |
| `cordis` | 创造模式 | 用于创建自定义 Agent preset |

也支持 .agent-presets 下的自定义预设（设置页会自动列出）。

## 说明

- provider 固定 `deepseek-official`（灰度检测仅针对 DS 官方路由）
- 模型列表来自 DS 官方路由
- 测试工作区写入 `~/gray-test-runs/`（各机器独立）
- 灰度模型吐字很慢（约 40 token/s 或更低）