安全、成本和边界

15.1 今天你要完成什么

一个好的 AI 应用不只是能运行，还要安全、可控、可解释。

• 能说出 API Key 的 3 条安全规则。
• 能用输入长度和次数限制控制成本。
• 能识别不适合让 AI 完成的任务。
• 能为重要答案加入人工复核。

15.2 核心理论

理论不是背概念，而是帮你判断项目为什么这样设计。下面这些规则会在代码里反复出现。

• 核心理论：Agent 是“目标 + 工具 + 步骤 + 检查”的组合，不是让模型随便自由发挥。
• 边界理论：越能自动做事的系统，越需要限制输入、工具、次数、成本和高风险内容。
• 产品理论：好作品不只看功能，还看是否安全、是否可解释、是否能处理失败情况。
• 输入契约：先规定用户要给什么资料。本课的输入要围绕“AI应用安全检查表”，不要让用户随便输入到程序无法处理。
• 输出契约：先规定 AI 必须交出什么结果。本课重点是“API Key、安全、成本、内容边界、信息核查”，所以输出要能被人读懂，也要方便程序检查。
• 验证思维：AI 的一次好结果不等于项目可靠。至少用正常输入、边界输入、异常输入各测一次。
• 安全边界：API Key 是密码，不能写进浏览器前端，不能发截图，不能提交到公开仓库。

15.3 课堂讲解

这一课的项目是“AI应用安全检查表”，重点是“API Key、安全、成本、内容边界、信息核查”。你可以把它当成一个小实验：先给它一个清楚输入，再观察代码里哪些地方用到了 Safety Checklist。课堂里我们不会一上来就追求复杂功能，而是先把最小版本做出来。最小版本跑通以后，你再改输入、改提示词、改输出格式，变化就会看得很清楚。

这几课开始做更像产品的 AI。Agent 会按步骤处理任务，但越能自动做事，越需要边界和检查。

本课有一条很实用的学习线索：先问“用户到底给了什么”，再问“程序希望拿到什么”。比如你可以试这些输入：请解释 while 循环；输入一万字会怎样？；没有 API Key 时运行。这些输入故意有简单的，也有容易出问题的。正常输入能帮你确认功能；短输入、空输入、奇怪输入能帮你发现系统边界。

写代码时建议你分三轮。第一轮只跑通官方调用，不加自己的想法；第二轮把输入换成自己的例子，看看结果是否还合理；第三轮才开始改结构，比如增加字段、加错误提示、做网页交互。这个顺序有点慢，但很稳。真正浪费时间的不是慢，而是一下子改太多，最后不知道错在哪里。

不要把“自动”理解成“不用管”。好的 Agent 要知道什么时候问问题，什么时候查资料，什么时候停下来提醒风险。

理论部分要和代码一起看。比如“输入契约”不是一个漂亮词，它在代码里就是长度检查、必填字段、表单校验；“输出契约”也不是空话，它在代码里就是 JSON Schema、固定字段或页面渲染规则。你每写一行检查代码，都是在告诉系统：什么结果可以接受，什么结果需要退回去重新处理。

课堂里可以把同桌当成第一个用户。你把项目跑给同桌看，让对方换一个输入，观察系统会不会乱。很多问题都是别人随手一试才出现的，比如输入太短、问题太模糊、连续点击按钮、图片看不清。能处理这些小麻烦，作品就会从“我电脑上能跑”变成“别人也能用”。

最后做复盘时，不要只写“我学会了调用 API”。可以写得更具体：我学会了怎样限制输入，怎样让输出固定，怎样判断结果不可靠，怎样把报错变成用户看得懂的提示。这样的复盘有用，因为下一课你真的会再次用到它。

课堂讨论题

• 如果把“AI应用安全检查表”交给低年级学生使用，哪一步最容易让他们困惑？
• 这个项目里，哪些事情适合交给模型，哪些事情应该交给普通代码？
• 如果模型给出一个看起来不错但没有依据的答案，你打算怎样提醒用户？
• 你能不能把今天的项目换一个主题，但保持同样的输入、处理、输出结构？
• 如果只能保留一个测试用例，你会保留正常输入、边界输入还是异常输入？为什么？

15.4 先看例子

先把例子看懂，再动手写代码。你不需要一次记住所有概念，先能说清楚“输入是什么、输出是什么、程序要检查什么”。

你可以替换成这些输入

• 请解释 while 循环。
• 输入一万字会怎样？
• 没有 API Key 时运行。
• 一分钟点击 20 次按钮。
• 涉及健康建议时如何提醒？

15.5 完整代码实现

下面同时给出 Node.js 和 Python 两套完整最小实现。先任选一种原样跑通，再改输入、改提示词、改输出格式。

Node.js 运行方式

1. 新建文件 lesson-15.mjs，把下面完整代码放进去。
2. 在终端运行：npm init -y
3. 安装依赖：npm install openai
4. 设置环境变量 OPENAI_API_KEY。Windows PowerShell 示例：$env:OPENAI_API_KEY="你的密钥"
5. 运行：node lesson-15.mjs
6. 把最后一行的示例输入换成你自己的测试内容。

Node.js 完整代码

import OpenAI from "openai";

const client = new OpenAI();
const MODEL = process.env.OPENAI_MODEL || "gpt-5.5";

const usageByUser = new Map();

function safetyCheck({ userId, input }) {
  const now = Date.now();
  const history = usageByUser.get(userId) || [];
  const recent = history.filter((t) => now - t < 60_000);
  recent.push(now);
  usageByUser.set(userId, recent);

  if (!process.env.OPENAI_API_KEY) {
    return { ok: false, message: "缺少 OPENAI_API_KEY，请先设置环境变量。" };
  }
  if (!input || input.trim().length === 0) {
    return { ok: false, message: "输入不能为空。" };
  }
  if (input.length > 500) {
    return { ok: false, message: "输入太长，请缩短到 500 字以内。" };
  }
  if (recent.length > 3) {
    return { ok: false, message: "请求太频繁，请一分钟后再试。" };
  }

  return { ok: true };
}

async function safeAsk(userId, input) {
  const check = safetyCheck({ userId, input });
  if (!check.ok) return check.message;

  const response = await client.responses.create({
    model: MODEL,
    input: [
      {
        role: "system",
        content:
          "你是学生学习助手。不要提供危险、违法或需要专业资质的确定建议。重要信息提醒用户核查。",
      },
      { role: "user", content: input },
    ],
    max_output_tokens: 300,
  });

  return response.output_text;
}

console.log(await safeAsk("student-001", "请用简单例子解释 while 循环。"));

Python 运行方式

1. 新建文件 lesson-15.py，把下面完整代码放进去。
2. 建议新建虚拟环境后再安装依赖。
3. 安装依赖：pip install openai
4. 设置环境变量 OPENAI_API_KEY。Windows PowerShell 示例：$env:OPENAI_API_KEY="你的密钥"
5. 运行：python lesson-15.py
6. 把 main 里的示例输入换成你自己的测试内容。

Python 完整代码

from openai import OpenAI
import os
import time

client = OpenAI()
MODEL = os.getenv("OPENAI_MODEL", "gpt-5.5")

usage_by_user = {}


def safety_check(user_id, text):
    now = time.time()
    history = usage_by_user.get(user_id, [])
    recent = [t for t in history if now - t < 60]
    recent.append(now)
    usage_by_user[user_id] = recent

    if not os.getenv("OPENAI_API_KEY"):
        return False, "缺少 OPENAI_API_KEY，请先设置环境变量。"
    if not text.strip():
        return False, "输入不能为空。"
    if len(text) > 500:
        return False, "输入太长，请缩短到 500 字以内。"
    if len(recent) > 3:
        return False, "请求太频繁，请一分钟后再试。"
    return True, ""


def safe_ask(user_id, text):
    ok, message = safety_check(user_id, text)
    if not ok:
        return message

    response = client.responses.create(
        model=MODEL,
        input=[
            {
                "role": "system",
                "content": (
                    "你是学生学习助手。不要提供危险、违法或需要专业资质的确定建议。"
                    "重要信息提醒用户核查。"
                ),
            },
            {"role": "user", "content": text},
        ],
        max_output_tokens=300,
    )
    return response.output_text


print(safe_ask("student-001", "请用简单例子解释 while 循环。"))

15.6 跟着做

1. 检查密钥存放位置。
2. 给输入设置最大长度。
3. 给按钮设置防重复点击。
4. 为搜索结果保留来源。
5. 为高风险内容加入人工确认提示。

15.7 常见错误

• 演示方便就把密钥写进页面。
• 没有次数限制，短时间发出太多请求。
• AI 没有依据也直接给确定答案。
• 把安全提示写得太长，学生根本不看。

15.8 课后练习

1. 给你的毕业项目写一份安全检查表。
2. 至少包含密钥、输入、成本、来源、人工复核。
3. 把其中 2 条真正加到项目里。

15.9 自测清单

• 我的 API Key 是否安全？
• 我的应用有没有成本限制？
• 重要信息有没有来源或复核？
• 用户看得懂安全提示吗？