什么是 AI 大模型

大模型可以先理解为一类通过大规模数据和算力训练出来的 AI 模型。它们可以处理文本、图像、音频或视频，并在一定程度上完成翻译、总结、问答、代码编写、图像理解和内容生成等任务。

核心理解

大模型不是数据库，也不是简单的规则程序。它的能力来自训练后的参数和推理机制：根据输入上下文计算候选输出的概率，再按照解码策略生成结果。模型可能记住训练数据中的模式，但不等于能够实时查询事实。

什么是大语言模型

大语言模型通常指 LLM，也就是 Large Language Model。它主要处理文本，通过学习大量语料中的语言规律、知识关联和表达模式，形成理解与生成自然语言的能力。

参数规模大

参数可以理解为模型内部保存知识和模式的“权重”。参数规模越大，模型容量通常越强，但训练和运行成本也更高。

核心机制是预测

模型会根据前文语境，计算下一个 Token 的概率分布，再选择更合适的内容继续生成。

具备通用能力

同一个模型可以处理问答、写作、翻译、代码、信息抽取等多种任务。

一句话：大语言模型的本质，是一个通过大量文本训练出来的“语言预测系统”。

常见训练流程

以文本大模型为例，从“会续写文本”到“能按指令完成任务”，通常会经历三个阶段：

1. 预训练：从海量数据中学习语言规律、知识关联和基础推理模式。

2. 监督微调 SFT：使用高质量指令和答案，让模型学会理解任务并按要求回答。

3. 偏好对齐：使用 RLHF、DPO 等方法，让回答更符合人类偏好、安全要求和产品目标。

这只是简化模型。不同模型还可能加入多模态训练、合成数据、奖励模型或其他后训练方法。

Transformer 架构

Transformer 是现代大模型的核心架构。它的重要价值，是让模型可以更高效地理解上下文关系，并支持大规模并行训练。

里程碑意义

Transformer 让大模型具备了更强的上下文建模能力，是 GPT、BERT 等模型的重要基础。

自注意力机制

模型在处理一句话时，会关注句子中不同词之间的关系，而不是只按顺序机械读取。

并行处理能力

相比传统序列模型，Transformer 更适合利用 GPU 并行训练，因此能支撑大规模模型训练。

理解方式

自注意力可以简单理解为：模型会判断当前词和上下文里哪些词关系更重要，再基于这些关系理解整句话。

Token 是什么

Token 是大模型理解和处理文字的最小单位。它不一定等于一个汉字、一个单词或一个字符，而是模型分词器切出来的片段。

模型的原子单位

模型不是直接理解整段文字，而是先把文本切成 Token，再对 Token 序列进行计算。

降低计算复杂度

模型只需要处理有限数量的 Token 组合，而不是直接处理无限复杂的自然语言。

影响上下文长度

上下文窗口通常按 Token 计算。输入越长，Token 越多，可用于推理和生成的空间就越紧张。

举个简单例子：I love AI 可能会被拆成 I、love、AI 这样的 Token；中文也会根据分词规则拆成不同片段。

大模型如何生成内容

大模型生成内容不是一次性写完整篇，而是一步一步预测下一个 Token。

1. 输入与拆分：用户输入文本，Prompt 会被分词器拆成一串 Token。

2. 上下文编码：Transformer 会理解这些 Token 之间的关系，形成上下文表示。

3. 概率计算：模型根据当前上下文，计算下一个 Token 的候选概率。

4. 采样输出：从候选结果中选出一个 Token，作为下一步输出。

5. 迭代生成：把新生成的 Token 加回上下文，重复预测、采样、生成，直到满足停止条件。

关键点

大模型的生成过程可以记成：拆 Token → 理解上下文 → 预测下一个 Token → 追加到上下文 → 继续预测。

生成参数如何影响结果

模型每生成一个 Token，都会先计算所有候选 Token 的分数，再通过 Softmax 转成概率。temperature 改变概率分布的形状，top_k 缩小允许采样的候选集合。

Temperature：调整概率差距

模型先为每个候选 Token 计算一个原始分数 z，再按下面的关系转换为概率：

概率 = softmax(z / temperature)

• temperature < 1：分数差距被放大，高概率候选更占优势，输出更稳定。
• temperature = 1：保持模型原始概率分布。
• temperature > 1：分数差距被压平，低概率候选更容易被选中，输出更多样。
• temperature 接近 0：通常接近每次选择概率最高的 Token，但具体实现由 Provider 决定。

假设四个候选 Token 的原始概率是 60% / 25% / 10% / 5%，温度变化后的趋势大致如下：

Temperature	调整后的示意概率	结果倾向
0.5	83% / 14% / 2% / 1%	集中，稳定
1	60% / 25% / 10% / 5%	保持原分布
2	43% / 28% / 17% / 12%	平缓，多样

温度不是给答案直接添加随机噪声，而是在每一步采样前重新拉伸概率差距。它不会增加模型知识，也不能解决事实错误。即使设为 0，由于服务端实现、并行计算或模型版本变化，结果也不一定完全可复现。

Top-K：限制候选数量

top_k 会按概率从高到低排序，只保留前 K 个候选，其余候选概率设为 0，再对保留下来的概率重新归一化并采样。

仍以上面的 60% / 25% / 10% / 5% 为例：

Top-K	保留候选	重新归一化后的概率	结果倾向
1	第 1 个	100%	等同于贪心选择
2	前 2 个	71% / 29%	较稳定，保留少量变化
4	全部	60% / 25% / 10% / 5%	候选最丰富

K 越小，模型越不容易选到偏离主线的低概率 Token；K 越大，多样性越高，但也更可能出现不连贯内容。top_k 常见于开源模型和部分 Provider，很多托管 API 并不开放这个参数。

两个参数怎样一起工作

常见顺序可以简化为：

模型输出分数 → Temperature 调整概率 → Top-K 筛选候选 → 重新归一化 → 随机采样

低温度和小 K 都会让输出更集中，同时设得过低容易产生机械、重复的回答；高温度和大 K 都会提高多样性，同时设得过高容易跑题。调试时固定模型、Prompt 和输入，一次只调整一个主要参数。

不要混淆两种 Top-K

生成采样的 top_k 限制候选 Token；RAG 检索的 Top-K 表示取回最相关的 K 个文档片段。前者控制怎样生成，后者控制模型能看到哪些资料。

其他常用参数

参数	作用
top_p	保留累计概率达到阈值的最小候选集合，候选数量会动态变化
max_tokens / max_output_tokens	限制最大输出长度，控制成本和延迟
stop	命中指定字符串后停止生成
frequency_penalty / presence_penalty	减少重复或鼓励引入新内容，只有部分 Provider 支持

按任务选择参数

任务	参数倾向	工程补充
信息抽取、分类、结构化输出	低 temperature，限制 max_output_tokens	还要使用 JSON Schema 或字段校验，不能只依赖低温
知识库问答、客服	低到中 temperature，较小 top_k	优先保证检索资料和引用边界正确
代码生成、代码修改	低 temperature，明确停止条件	必须通过测试、构建或静态检查验收
创意写作、头脑风暴	中到高 temperature，可扩大候选范围	仍要设置长度上限，避免无边界输出

具体参数名、范围和支持情况以 Provider 文档为准。API 请求字段和异常排查见 LLM API 调用基础。

大模型常见分类

大模型不只处理文字。按输入和输出能力，可以分成多种类型。

类型	核心能力	常见场景
文本大模型	文本理解、生成、推理、代码	问答、写作、翻译、编程
多模态大模型	处理文本、图像、音频、视频	图文理解、视觉问答、语音助手
图像生成模型	文生图、图生图、图像识别	设计草图、插画、素材生成
语音大模型	语音识别、语音合成、音乐生成	TTS、ASR、语音交互
视频生成模型	文生视频、图生视频、视频编辑	短视频生成、分镜、广告创意
3D 生成模型	文本或图片生成 3D 模型	游戏资产、空间设计、原型建模

总结速记

速记

大模型 = 大规模数据训练 + 模型参数 + 基于上下文预测或生成结果。

文本模型常见后训练流程可以记成：预训练打基础，SFT 学指令，再通过 RLHF、DPO 等方法进行偏好对齐。

工作逻辑可以记成：输入先变成 Token，模型计算上下文表示，再通过解码参数一步步生成结果。