分块之难：RAG应用中的Chunking技术解析

景

构建基于大型语言模型（LLM）的应用程序需要将LLM的回答与我们行业的特定领域数据结合起来。

尽管微调LLM可以使其更了解特定领域，但仍可能存在不准确和幻觉的问题。

因此，出现了检索增强生成（RAG）技术，以便让LLM的回答基于具体数据并提供来源支持。

RAG的工作原理

RAG的工作原理是为你想使用的数据片段创建文本嵌入，这样可以将源文本的一部分放入LLM用来生成回答的语义空间中。同时，RAG系统还能返回源文本，这样LLM的回答就有了人类撰写的文本作为支持，并且附带引用。

1、构建索引

将分块后的文本数据构建索引，以便快速检索相关块。

from sklearn.feature_extraction.text import TfidfVectorizer

def build_index(chunks):
    vectorizer=TfidfVectorizer()
    X=vectorizer.fit_transform(chunks)
    return vectorizer, X

2、检索相关块

根据查询在索引中检索相关的文本块。

def retrieve_chunks(query, vectorizer, X, top_k=5):
    query_vec=vectorizer.transform([query])
    scores=(X * query_vec.T).toarray()
    top_indices=scores.flatten().argsort()[-top_k:][::-1]
    return top_indices

3、生成响应

将检索到的相关块提供给LLM，生成最终的响应。

def generate_response(query, chunks, vectorizer, X, model):
    top_indices=retrieve_chunks(query, vectorizer, X)
    relevant_chunks=[chunks[i] for i in top_indices]
    context=' '.join(relevant_chunks)
    response=model.generate_response(query, context)
    return response

在RAG系统中，我们需要特别注意数据片段的大小。

如何划分数据就是所谓的分块，这比直接嵌入整篇文档要复杂得多。

什么是分块？

分块（Chunking）是将长文档或数据集切割成较小的、独立的部分，以便于处理、存储和检索。

这种方法在处理大规模文本数据时尤为重要，因为LLM对长文本的处理能力有限。

分块的优点

减少计算资源消耗：处理较小的文本块比处理整篇长文档消耗的资源少。
提高检索效率：较小的块可以加快搜索和匹配过程，因为每个块包含的信息更集中。
提升生成质量：模型可以更专注于特定的内容块，从而生成更准确和相关的响应。

为什么分块很重要？

在构建基于大型语言模型（LLM）的应用程序时，分块数据的大小对于搜索结果的准确性至关重要。

当你嵌入一段数据时，整个数据会被转换为一个向量

如果一个块包含的内容过多，向量就会失去对特定内容的准确描述。

如果分块太小，则会失去数据的上下文。

Pinecone 公司的 Roie Schwaber-Cohen指出：“开始思考如何将我的内容分成更小的块的原因是，这样当我检索时，它实际上能够命中正确的内容。你将用户的查询嵌入，然后将其与内容的嵌入进行比较。如果你嵌入的内容大小与用户查询的大小差异很大，你就更可能得到较低的相似度得分。”

如何考虑大小

考虑到查询和响应的大小也至关重要。根据 Schwaber-Cohen 的观点，你将文本块向量与查询向量进行匹配。

但你还需要考虑作为响应的块的大小。

例如，如果你嵌入了整章的内容而不是一页或一段，向量数据库可能会在查询和整章之间找到一些语义相似性。

但所有章节都相关吗？可能不是。

更重要的是，LLM 能否从检索到的内容和用户的查询中产生相关的响应？

最佳策略选择

分块并不是一个简单的问题。行业并没有一种通用的标准。

最佳的分块策略取决于具体的用例。

幸运的是，你不仅仅是简单地对数据进行分块、向量化然后碰运气。

你还有元数据。这可以是指向原始块或更大文档部分的链接、类别和标签、文本，或者实际上任何内容。

正如 Schwaber-Cohen 所说：“这有点像一个 JSON blob，你可以用它来过滤东西。如果你只是在寻找特定子集的数据，你可以大大减少搜索空间，并且你可以使用元数据将你在响应中使用的内容链接回原始内容。”

总而言之，大小很重要。而选择最佳的分块策略和利用元数据则可以进一步提高检索和响应的效率和准确性。

分块策略

一般有以下四种分块策略：

1、固定大小块分块策略（fixed sizes）

在处理数据时，一种常见的方法是将文本分成固定大小的块。这种方法适用于内容格式和大小相似的数据集，如新闻文章或博客帖子。虽然这种方法成本较低，但它并未考虑到分块内容的上下文，可能对某些应用场景影响不大，但对于其他场景可能非常重要。

示例：

def chunk_text(text, chunk_size=500):
    words=text.split()
    chunks=[]
    current_chunk=[]
    current_length=0
    for word in words:
        current_length +=len(word) + 1  # 计算单词长度和空格
        if current_length > chunk_size:
            chunks.append(' '.join(current_chunk))
            current_chunk=[word]
            current_length=len(word) + 1
        else:
            current_chunk.append(word)
    chunks.append(' '.join(current_chunk))  # 添加最后一个块
    return chunks

2、随机块分块策略（random chunk sizes）

如果数据集包含多种文档类型，一种可行的方法是使用随机大小的块。这种方法可能捕捉到更广泛的语义上下文和主题，而不受任何给定文档类型的约定的限制。然而，随机块可能导致文本被打断，产生无意义的块。

3、滑动窗口分块策略（sliding windows）

滑动窗口方法是一种常用的分块策略，它使新的块与前一个块的内容重叠，并包含部分内容。这样可以更好地捕捉每个块周围的上下文，提高整个系统的语义相关性。然而，这也需要更多的存储空间，并可能导致冗余信息，使搜索过程变慢，并增加RAG系统提取正确来源的难度。

4、上下文感知分块策略（Context-aware chunking）

上下文感知分块方法根据标点符号或Markdown/HTML标签等语义标记将文本分块。这种方法可以递归地将文档分成更小、重叠的片段，每个片段都能保持上下文的完整性。尽管这种方法可以提供良好的结果，但它需要额外的预处理来分割文本，可能增加了计算需求，从而减慢了分块过程。

确定最佳方法

要确定适合你用例的最佳分块策略，需要一些工作。

测试不同方法的效果，并根据评估结果选择最佳策略。通过人工审核和LLM评估器对它们进行评分。当你确定哪种方法表现更好时，你可以通过基于余弦相似度分数对结果进行进一步过滤来进一步增强结果。

分块只是生成式AI技术拼图中的一部分，我们还需要LLM、矢量数据库和存储。

最重要的是，要有一个明确的目标，这样才能确保项目取得成功。

参考

https://stackoverflow.blog/2024/06/06/breaking-up-is-hard-to-do-chunking-in-rag-applications/

ava实现浏览器端大文件分片上传，Java实现大文件分片上传，Java实现大文件分片上传解决方案，Java实现大文件分片上传思路，Java实现大文件分片上传实例，Java实现大文件分片上传源码，Java实现大文件分块上传，Java实现大文件切片上传，Java实现大文件加密上传，Java实现文件夹上传，

java大文件10G,50G，100G上传，JSP大文件10G,50G,100G上传，JAVA大文件10G,50G,100G上传，断点续传。

一般这么大的文件不用HTML的一次性上传，而是采用分块，分片，分段，分割，切割技术上传。

JAVA话一般是负责后端的逻辑，比如文件初始化，文件块上传，合并，存储等。

前端的话用JSP,VUE2,VUE3,React，HTML5,JS,JQ都行。这个都无所谓。

网上一般的做法都是用的HTML5的API，也就是chrome提供的API，能够满足基本需求，但是还是有痛点，chrome限制死了，固定死了无法扩展，每个域名只允许5个TCP连接，导致了速度有上限，你也无法修改和扩展。然后就是浏览器也只能用chrome，用户用了IE就不行了，用户现有的系统跑在IE上，也不能换。

进度信息容易丢失，用户关闭网页，刷新网页，关闭浏览器，重启浏览器，关闭电脑，重启电脑后，进度信息都会丢失，无解，没办法。扩展性还是差了点。

传大文件，超大文件，文件数量多的话，前端就卡，网页反应慢，容易死，崩溃，在配置较差的电脑或者配置一般的电脑上这个痛点体现的非常明显。

对于大文件的处理，无论是用户端还是服务端，如果一次性进行读取发送、接收都是不可取，很容易导致内存问题。所以对于大文件上传，采用切块分段上传

从上传的效率来看，利用多线程并发上传能够达到最大效率。

断点续传，就是在文件上传的过程中发生了中断，人为因素（暂停）或者不可抗力（断网或者网络差）导致了文件上传到一半失败了。然后在环境恢复的时候，重新上传该文件，而不至于是从新开始上传的。

断点续传的功能是基于分块上传来实现的，把一个大文件分成很多个小块，服务端能够把每个上传成功的分块都落地下来，客户端在上传文件开始时调用接口快速验证，条件选择跳过某个分块。

实现原理，就是在每个文件上传前，就获取到文件MD5取值，在上传文件前调用接口，如果获取的文件状态是未完成，则返回所有的还没上传的分块的编号，然后前端进行条件筛算出哪些没上传的分块，然后进行上传。

当接收到文件块后就可以直接写入到服务器的文件中。

导入项目：
导入到Eclipse：http://www.ncmem.com/doc/view.aspx?id=9da9c7c2b91b40b7b09768eeb282e647
导入到IDEA：http://www.ncmem.com/doc/view.aspx?id=9fee385dfc0742448b56679420f22162
springboot统一配置：http://www.ncmem.com/doc/view.aspx?id=7768eec9284b48e3abe08f032f554ea2

下载示例：

https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/

工程

NOSQL

NOSQL示例不需要任何配置，可以直接访问测试

创建数据表

选择对应的数据表脚本，这里以SQL为例

修改数据库连接信息

访问页面进行测试

文件存储路径

up6/upload/年/月/日/guid/filename

相关问题：
1.javax.servlet.http.HttpServlet错误
2.项目无法发布到tomcat
3.md5计算完毕后卡住
4.服务器找不到config.json文件

相关参考：

文件保存位置

源码工程文档：https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra

源码报价单：https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl

OEM版报价单：https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a

产品源代码：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授权生成器：https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1

S实现大文件上传——分片上传方法，完美解决WEB无法上传大文件方法，HTML大文件上传源码，WEBUPLOAD组件实现文件上传功能和下载功能，js大文件上传下载解决方案，vue大文件上传下载解决方案，asp.net大文件上传下载解决方案，.net大文件上传下载解决方案，webform大文件上传下载解决方案，jsp大文件上传下载解决方案，java大文件上传下载解决方案，JAVASCRIPT 大文件上传下载切片解决方案，JAVASCRIPT 大文件上传下载切割解决方案，JAVASCRIPT 大文件上传下载分割解决方案，JAVASCRIPT 大文件上传下载分块解决方案，JAVASCRIPT 大文件上传下载分片解决方案，web大文件上传下载解决方案，网页大文件上传下载解决方案，前端大文件上传下载解决方案，html5大文件上传下载解决方案，JAVASCRIPT 大文件上传下载解决方案，支持HTML5,VUE2,VUE3,React，javascript等常用前端UI框架，JS框架，网上找的方案大多数都只是一些代码片段，没有提供完整的前后端代码。

支持IE，Chrome和信创国产化环境，比如银河麒麟，统信UOS，龙芯，

支持分片，分块，分段，切片，分割上传。能够突破chrome每域名的5个TCP连接限制，能够突破chrome重启，关闭浏览器续传的限制。

支持10G,20G,50G,100G文件上传和续传，支持秒传，支持文件夹上传，重复文件检测，重复文件校验

支持文件下载，批量下载，下载断点续传，加密下载，端到端加密，加密算法支持国密SM4，多线程下载

支持在服务端保存文件夹层级结构，支持将文件夹层级结构信息保存到数据库中，支持下载时能够将文件夹层级结构下载下来，支持下载文件夹，下载文件夹支持断点续传，

支持加密传输，包括加密上传，加密下载，加密算法支持国密SM4，

支持云对象存储，比如华为云，阿里云，腾讯云，七牛云，AWS，MinIO,FastDFS，

提供手机，QQ，微信，邮箱等联系方式，提供7*24小时技术支持，提供长期技术支持和维护服务，提供远程1对1技术指导，提供二次开发指导，提供文档教程，提供视频教程。

1.下载示例

https://gitee.com/xproer/up6-vue-cli

将up6组件复制到项目中

示例中已经包含此目录

1.引入up6组件

2.配置接口地址

接口地址分别对应：文件初始化，文件数据上传，文件进度，文件上传完毕，文件删除，文件夹初始化，文件夹删除，文件列表

参考：http://www.ncmem.com/doc/view.aspx?id=e1f49f3e1d4742e19135e00bd41fa3de

3.处理事件

启动测试

启动成功

效果

数据库