A Claude Code Skill · 统计陷阱检测器

Universal Pitfall Detector

给「研究显示」「NN% 有效率」「人人在用」这类论断装一个 BS 检测器。
A bullshit detector for "studies show…", "NN% effective", and "everyone is using…" claims.

9 类被检测的统计陷阱

它能识别那些"听起来很有道理,其实是统计陷阱"的论断:

辛普森悖论 幸存者偏差 相对风险夸大 软硬终点偷换 效应量微小 安慰剂未控制 基率谬误 选择偏差 数据污染 多重比较未校正

核心理念:不只揭穿,也确认。每份报告都有一个绿色调的「确定有效的场景」区段, 列出经过严谨证据支持的有效场景,避免读者陷入"什么都没用"的虚无主义。

工作流

STEP 01
数据接入
CSV / 字典 / 公开 RCT / 联网检索
STEP 02
陷阱匹配
9 类规则 · ARR / RRR / NNT / Cohen's d / Bonferroni
STEP 03
可视化
5 种独立图表 + 总览 dashboard
STEP 04
多格式报告
Markdown · PNG · 学术杂志 HTML

三个旗舰案例

鱼油(Omega-3)真的有用吗?

"REDUCE-IT 试验显示鱼油降低 22% 心血管风险!"

检测:8 项陷阱。相对风险夸大(ARR=4.8% · NNT=21)、 软硬终点偷换、人群泛化错误、剂量混淆。

报告同时确认:高危心血管病 + 高甘油三酯 + 处方 4g 纯 EPA 是被 RCT 支持的;重度高甘油三酯血症、孕期 DHA、严格素食者也有明确证据。

8
陷阱
4.8%
真实 ARR
21
NNT
4
确定有效场景

维生素 B 族对健康有帮助吗?

"B 族提神抗疲劳!预防心脑血管!5000% RDA 高效!"

检测:7 项陷阱。HOPE-2 / VITATOPS / SEARCH 等 N>5 万 RCT 显示心血管事件 ARR≈0;客观硬终点 5/5 不显著。 B6 长期 >200mg/天可致 周围神经病变

B12 缺乏症 / 孕期叶酸 / 严格素食者 / 酗酒急救 的补充有公共卫生级证据支持。

7
陷阱
5/5
硬终点不显著
5000%
市售剂量倍数
5
确定有效场景

"网上人人在用 Claude Code,身边没人听过"

两句话能同时为真——前者是信息茧房的真,后者是绝对人口的真。

检测:6 项陷阱。Claude Code 在全球工作人口中渗透率仅 ~0.014%(50 万 MAU / 36 亿工作人口), 技术 KOL 同温层感知普及率 ~85%,相差 6000 倍

报告同时确认:对 重度命令行开发者、接手陌生代码库、独立开发者, Claude Code 是被实证的真实生产力放大器。

6
陷阱
85%
圈内感知率
0.014%
真实渗透率
6000×
感知/真实差距

5 问护身符

看到任何"研究显示…"类结论,按顺序问 5 个问题,9 成营销话术会自动崩塌:

  1. 绝对差多大?(不是相对差)
  2. 主观还是客观终点?(自评 vs 死亡率)
  3. 测了多少指标?只报了几个?
  4. 什么人群得出的结论?能套到我吗?
  5. 谁出的钱?谁会发声?

快速开始

git clone https://github.com/Faust-Donf/universal-pitfall-detector.git
cd universal-pitfall-detector
pip install -r requirements.txt

python examples/analyze_fish_oil.py
python examples/analyze_vitamin_b.py
python examples/analyze_claude_code_bubble.py

把整个目录复制到 ~/.claude/skills/universal-pitfall-detector/, 重启 Claude Code,就可以直接说:
"用统计陷阱 skill 分析下『红酒每天一杯有益健康吗』"