中文 EN

Scan Report

Scan New Files

⚠ Low Risk — Risk Score 15/100
Last scan:9 hr ago Rescan
15 /100
openclaw-smartness-eval
OpenClaw 智能度综合评估技能。围绕 14 个维度（含规划能力、幻觉控制）输出综合评分、证据、风险与趋势。对齐 CLEAR/T-Eval/Anthropic 行业标准。
AI Agent 智能度评估技能，代码质量高、安全机制完善，存在轻微文档-行为偏差（base64签名、写入操作）但不构成实质威胁。
Skill Nameopenclaw-smartness-eval
Duration46.6s
Enginepi
✓
Safe to install
可安全使用。建议补充 SKILL.md 中关于 base64 签名机制和写入行为的具体说明。

Findings 2 items

Severity Finding Location
Low
Base64 编码存储作者署名 Obfuscation
scripts/eval.py:40-44 使用 base64 编码存储技能作者署名信息（5ZyG6KeE → 圆规），属于阴影功能，文档未声明此行为。虽非恶意但影响透明度。
_a = _b64.b64decode(b'5ZyG6KeE').decode('utf-8')
_h = hashlib.sha256((_a + 'openclaw-smartness-eval').encode()).hexdigest()[:12]
→ 在 SKILL.md 中声明使用加密签名机制的目的和实现方式
 scripts/eval.py:40
Low
'只读'声明与实际写入行为存在偏差 Doc Mismatch
SKILL.md 声称本技能是'只读评估工具'，但代码实际写入 state/smartness-eval/ 目录。虽在文档其他部分有说明，但主要声明具有误导性。
RUNS_DIR.mkdir(parents=True, exist_ok=True)
REPORTS_DIR.mkdir(parents=True, exist_ok=True)
→ 将'只读'改为'读写'并明确列出写入范围
 scripts/eval.py:50
ResourceDeclaredInferredStatusEvidence
Filesystem READ WRITE ✓ Aligned scripts/eval.py:50-51 创建 state/smartness-eval/ 子目录
Shell WRITE WRITE ✓ Aligned scripts/eval.py:145 subprocess.run() 执行 task-suite 命令
Network NONE READ ✓ Aligned scripts/eval.py:868 仅在 --llm-judge 参数时调用外部 API
Environment READ READ ✓ Aligned scripts/eval.py:874 读取 OPENAI_API_KEY/DEEPSEEK_API_KEY
Database READ READ ✓ Aligned scripts/eval.py:210-220 sqlite3 查询 .reasoning/reasoning-store.sqlite
1 Critical 14 findings
💀
Critical Dangerous Command 危险 Shell 命令
rm -rf /
config/task-suite.json:363
🔗
Medium External URL 外部 URL
https://keepachangelog.com/
CHANGELOG.md:6
🔗
Medium External URL 外部 URL
https://www.conventionalcommits.org/
CONTRIBUTING.md:65
🔗
Medium External URL 外部 URL
https://img.shields.io/badge/version-0.3.0-blue?style=flat-square
README.md:7
🔗
Medium External URL 外部 URL
https://img.shields.io/badge/license-MIT--0-green?style=flat-square
README.md:8
🔗
Medium External URL 外部 URL
https://img.shields.io/badge/python-3.9+-yellow?style=flat-square
README.md:9
🔗
Medium External URL 外部 URL
https://img.shields.io/badge/OpenClaw-2026.3.13+-orange?style=flat-square
README.md:10
🔗
Medium External URL 外部 URL
https://arxiv.org/html/2511.14136v1
README.md:89
🔗
Medium External URL 外部 URL
https://www.53ai.com/news/LargeLanguageModel/2024071870985.html
README.md:89
🔗
Medium External URL 外部 URL
https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
README.md:89
🔗
Medium External URL 外部 URL
https://clawhub.com/yh22e
README.md:312
🔗
Medium External URL 外部 URL
https://img.shields.io/badge/版本-0.2.1-blue?style=flat-square
README_CN.md:7
🔗
Medium External URL 外部 URL
https://img.shields.io/badge/协议-MIT--0-green?style=flat-square
README_CN.md:8
🔗
Medium External URL 外部 URL
https://api.deepseek.com
scripts/eval.py:878

File Tree

22 files · 164.0 KB · 4227 lines
Markdown 15f · 2419L Python 3f · 1204L JSON 4f · 604L
├─ ▾ 📁 config
│ ├─ 🔑 config.json ⚠ JSON 42L · 883 B
│ ├─ 📋 rubrics.json JSON 170L · 7.4 KB
│ └─ 📋 task-suite.json JSON 381L · 14.0 KB
├─ ▾ 📁 docs
│ ├─ 📝 ARCHITECTURE.md Markdown 161L · 10.5 KB
│ ├─ 📝 FAQ.md Markdown 147L · 6.7 KB
│ ├─ 📝 GROWTH.md Markdown 140L · 4.6 KB
│ ├─ 📝 ROADMAP.md Markdown 58L · 2.6 KB
│ ├─ 📝 SCORING.md Markdown 395L · 13.8 KB
│ └─ 📝 SHOWCASE.md Markdown 149L · 5.4 KB
├─ ▾ 📁 scripts
│ ├─ 🐍 check.py Python 29L · 852 B
│ ├─ 🐍 eval.py Python 1102L · 44.3 KB
│ └─ 🐍 state_probe.py Python 73L · 2.2 KB
├─ 📋 _meta.json JSON 11L · 657 B
├─ 📝 CHANGELOG.md Markdown 54L · 3.1 KB
├─ 📝 CLAWHUB-UPLOAD-GUIDE.md Markdown 126L · 4.2 KB
├─ 📝 CODE_OF_CONDUCT.md Markdown 29L · 882 B
├─ 📝 CONTRIBUTING.md Markdown 106L · 3.3 KB
├─ 📝 README_CN.md Markdown 389L · 13.8 KB
├─ 📝 README.md Markdown 336L · 13.9 KB
├─ 📝 RELEASE_NOTES_v0.2.1.md Markdown 56L · 1.9 KB
├─ 📝 SECURITY.md Markdown 89L · 3.4 KB
└─ 📝 SKILL.md Markdown 184L · 5.6 KB

Dependencies 1 items

PackageVersionSourceKnown VulnsNotes
python3 (stdlib) 3.9+ standard_library No 仅使用 Python 标准库（json, subprocess, sqlite3, urllib, pathlib）

Security Positives

✓ 命令白名单校验机制完善（validate_command() 拒绝 -c、exec()、绝对路径、路径遍历）
✓ subprocess 执行有 120 秒超时保护
✓ 网络请求仅在用户显式传入 --llm-judge 参数时触发
✓ API Key 依赖环境变量，不硬编码凭证
✓ 使用 Python 标准库，无第三方依赖引入风险
✓ rm -rf / 等危险命令作为反作弊测试用例，受白名单保护
✓ 完整的安全声明部分，透明度高