🛡️ 护栏/安全边界 是什么？

⚡ 一句话秒懂

给AI装一个「刹车和护栏」，防止它乱说话

📖 举个故事

公司上了一个AI客服，结果有个用户问「怎么制造炸弹」，AI居然认认真真写了步骤。公司紧急给AI装了护栏：先检查用户的输入，如果涉及违法、暴力、色情等内容，AI直接说「我无法回答这个问题」。后来又加了一道护栏：AI的输出也要检查，防止AI编造虚假信息。有了护栏，AI才能安全地面对公众。

💡 类比理解

暂未补充。

🧩 真实例子

暂未补充。

🛠️ 怎么实际使用

给AI应用加护栏是上线前的必修课。输入护栏：检查用户输入是否包含越狱提示（Jailbreak Prompts）、敏感词等。输出护栏：检查AI回答是否包含有害内容、个人隐私、商业机密。开发时可用Guardrails AI、NeMo Guardrails等框架，定义规则说「如果用户问了X类问题，回复模板Y」。

📚 进阶原理

Guardrails（护栏）是多层安全机制：输入过滤（关键词/分类器检测有害输入）、上下文审查（对话历史中的安全违规）、输出过滤（检测模型生成内容的安全性）、内容策略（定义什么能说什么不能说）。实现方式包括基于规则（正则表达式）、模型分类器（Toxic Classifier）和向量检索（相似有害样本匹配）。

继续学习相关术语