首页 / 文本分块

🧩 文本分块 是什么?

把一本书切成段落,方便AI查找

RAG与知识库

⚡ 一句话秒懂

把一本书切成段落,方便AI查找

📖 举个故事

小张把一本300页的技术手册交给AI,想让AI能回答关于这本书的任何问题。AI说「我需要先把书切小段」。于是AI把每一章切成一段,每一段再按自然段落切,每段大概500字。这样当你问「怎么安装这个软件」时,AI能精准定位到安装章节的那段内容,而不需要在300页里翻找。

💡 类比理解

暂未补充。

🧩 真实例子

暂未补充。

🛠️ 怎么实际使用

文本分块(Chunking)是搭建知识库的第一步。比如你要建一个公司制度问答机器人,先把几百页的员工手册切成小段。段落大小有讲究:太小(50字)会丢失上下文,太大(2000字)又不够精准。一般按500-1000字切,并保留前后重叠部分保证连贯。

📚 进阶原理

Chunking策略直接影响RAG检索质量。常见策略:固定长度切分(按token数)、语义切分(按段落/句子边界)、递归切分(从大到小分层)。重叠窗口(Overlap)保留上下文衔接。高级方法使用Embedding模型检测语义边界。LangChain的RecursiveCharacterTextSplitter是主流实现。

继续学习相关术语