Skip to content
dsh.fish
Skill

memory-auditor

记忆审计技能:对 AI agent 的记忆文件(MEMORY.md/LESSONS.jsonl/规则库)做静态体检,扫出越界宣称(已达 AGI/最强/100% 成功)、无证据完成声明、重复条款;报告是候选不是判决,每条带行号与原文供人工复核。适用:审计自己或他人的 agent 记忆、季度记忆体检、向团队展示记忆质量时。

Source
yangfei222666-9
License
MIT
Updated
Updated 6 days ago

Readme

# memory-auditor · AI 记忆审计器

> **痛点**:AI 记忆里满屏"已完成",但没有一条证据,你敢信吗?
> **解法**:静态三层检测——越界宣称 / 无证据完成声明 / 重复条款;输出=候选+文件行号+原文,由人复核才算数。
> **验证边界**:测试、CI 与发布状态必须绑定到明确的提交和可读回凭据;本文不把历史结果或本地候选升级为当前远端事实。

给 AI agent 的「记忆」做体检:扫出**没证据的完成声明、越界宣称、重复条款**。双层结构:

- **静态规则层**(零成本,秒出):纯 Python 标准库,三类检测
  - `overclaim` —— "已达/接近 AGI"、"最强"、"100% 成功"等不可辩护表述(带否定语境豁免)
  - `done_without_evidence` —— 完成类声明没附证据词
  - `duplicate` —— 近似重复条款(表格行豁免)
- **深度层(规划中)**:`--deep` 送四视角评审(复用 [multi-model-review](../dsh-skill-multi-model-review))

设计铁律:**报告是候选,不是判决** —— 每条发现带文件/行号/原文/提示,由人复核后才算数。这正是本工具要守护的原则:先不信自己,再谈信别人。

## 用法

```bash
python3 memory_auditor.py MEMORY.md LESSONS.jsonl rules.md GROWTH.md
python3 memory_auditor.py MEMORY.md --json-out report.json
```

## 当前复现包入口

- [中文说明](repro_v0/README.md)
- [English guide](repro_v0/README.en.md)

`repro_v0` 内嵌的是构建时的本地候选元数据。当前是否已公开、精确提交上的 CI 是否成功、归档内容是否匹配,以及双人冷跑是否验收,必须以对应的 Git / release / CI / 人工凭据为准;仅有文件或本地测试结果不能证明这些状态。

## 自校准实录(2026-08-16 夜班首跑)

| 轮次 | 结果 |
|---|---|
| v0.1 | 7 条:1 真(完成声明无证据词)+ 2 假(规则文本"禁用已达 AGI"被误报)+ 4 假(表格表头重复) |
| v0.2 | 表格行豁免 → 剩 2 条 |
| v0.3 | 双向否定窗口(禁/不/勿/永不 ±30 字符)→ 剩 1 条真发现 |
| 修掉真发现 | 重跑 = **0 条** |

## 已知边界

- 静态层是词法级,不读语义;深度层上线前,复杂误导仍会漏
- 中文否定语境复杂("不是不宣称"),±30 字符窗口是启发式

## 许可证

[MIT License](LICENSE) — Copyright (c) 2026 yangfei222666-9

Install

# Skills are files: copy them into $DSH_HOME/skills/memory-auditor (defaults to ~/.dsh/skills/memory-auditor)

Profile: web

Source