安全与治理 · 06-01
AI 安全（AI Safety）
研究和实践如何让 AI 系统可靠、可控、不会造成不可接受风险的领域。
AI 安全（AI Safety）
研究和实践如何让 AI 系统可靠、可控、不会造成不可接受风险的领域。
一、是什么
- 研究和实践如何让 AI 系统可靠、可控、不会造成不可接受风险的领域。
- 类比：像给高能力机器配刹车、护栏、监控和使用规范。
- 关键澄清：
| 它不是什么 | 它是什么 |
|---|---|
| 不是单纯的内容审查 | 覆盖模型行为、系统权限、社会影响和治理流程的综合议题 |
二、为什么重要
- 能力越强的 AI，错误影响越大。
- 不懂它会怎样：忽视安全会导致泄密、误导、歧视、越权或现实损害。
三、日常怎么理解
- 用一句话讲给非技术朋友听：AI 安全就是让 AI 有能力也有边界。
- 常见场景：模型拒绝危险请求、Agent 权限控制、业务风险评估。
四、常见误解
| 误解 | 真相 |
|---|---|
| 安全会拖慢创新 | 可控的系统才更容易进入真实业务。 |
五、延伸阅读
- 本知识库相关：对齐、智能体治理
- 06-Knowledge: AI 安全.md:
安全.md - NIST AI Risk Management Framework
- OpenAI Safety best practices
适用场景与行动
场景：适合用来建立 AI 核心概念的共同语言。
适合谁：非技术创业者、AI 产品使用者、内容与业务负责人
下一步：先用一句话复述这个概念，再判断它和你的业务场景有什么关系。
这张卡片由杨思远基于真实工作流和实测经验整理。
如发现信息过时或有误，可通过 /contact 反馈。