Skill
memory-auditor
记忆审计技能:对 AI agent 的记忆文件(MEMORY.md/LESSONS.jsonl/规则库)做静态体检,扫出越界宣称(已达 AGI/最强/100% 成功)、无证据完成声明、重复条款;报告是候选不是判决,每条带行号与原文供人工复核。适用:审计自己或他人的 agent 记忆、季度记忆体检、向团队展示记忆质量时。
- Source
- yangfei222666-9
- License
- MIT
- Updated
- Updated 6 days ago
Readme
# memory-auditor · AI 记忆审计器
> **痛点**:AI 记忆里满屏"已完成",但没有一条证据,你敢信吗?
> **解法**:静态三层检测——越界宣称 / 无证据完成声明 / 重复条款;输出=候选+文件行号+原文,由人复核才算数。
> **验证边界**:测试、CI 与发布状态必须绑定到明确的提交和可读回凭据;本文不把历史结果或本地候选升级为当前远端事实。
给 AI agent 的「记忆」做体检:扫出**没证据的完成声明、越界宣称、重复条款**。双层结构:
- **静态规则层**(零成本,秒出):纯 Python 标准库,三类检测
- `overclaim` —— "已达/接近 AGI"、"最强"、"100% 成功"等不可辩护表述(带否定语境豁免)
- `done_without_evidence` —— 完成类声明没附证据词
- `duplicate` —— 近似重复条款(表格行豁免)
- **深度层(规划中)**:`--deep` 送四视角评审(复用 [multi-model-review](../dsh-skill-multi-model-review))
设计铁律:**报告是候选,不是判决** —— 每条发现带文件/行号/原文/提示,由人复核后才算数。这正是本工具要守护的原则:先不信自己,再谈信别人。
## 用法
```bash
python3 memory_auditor.py MEMORY.md LESSONS.jsonl rules.md GROWTH.md
python3 memory_auditor.py MEMORY.md --json-out report.json
```
## 当前复现包入口
- [中文说明](repro_v0/README.md)
- [English guide](repro_v0/README.en.md)
`repro_v0` 内嵌的是构建时的本地候选元数据。当前是否已公开、精确提交上的 CI 是否成功、归档内容是否匹配,以及双人冷跑是否验收,必须以对应的 Git / release / CI / 人工凭据为准;仅有文件或本地测试结果不能证明这些状态。
## 自校准实录(2026-08-16 夜班首跑)
| 轮次 | 结果 |
|---|---|
| v0.1 | 7 条:1 真(完成声明无证据词)+ 2 假(规则文本"禁用已达 AGI"被误报)+ 4 假(表格表头重复) |
| v0.2 | 表格行豁免 → 剩 2 条 |
| v0.3 | 双向否定窗口(禁/不/勿/永不 ±30 字符)→ 剩 1 条真发现 |
| 修掉真发现 | 重跑 = **0 条** |
## 已知边界
- 静态层是词法级,不读语义;深度层上线前,复杂误导仍会漏
- 中文否定语境复杂("不是不宣称"),±30 字符窗口是启发式
## 许可证
[MIT License](LICENSE) — Copyright (c) 2026 yangfei222666-9
Install
# Skills are files: copy them into $DSH_HOME/skills/memory-auditor (defaults to ~/.dsh/skills/memory-auditor)
Profile: web
With the hub plugin installed, ask your agent to install it by name — it resolves the same plan shown here.
dsh plugin --profile web add github:stvlynn/dsh.fish#path:packages/dsh-plugin-hub
install yangfei222666-9-memory-auditor from the hub