做RAG项目时需要构建数据集的地方有很多:
Embedding选型时需要构建评估用的问答对数据集
Embedding模型微调时也需要问答对数据集
llm微调也需要问答对数据集
rag评估计算召回率时也需要问答对数据集
而且这些数据集都是基于知识库中的内容构建的。那这些数据集所需要的数据量分别是多少?这几个数据集是否可以复用?假如甲方给了专业领域的问答对数据集,是否需要针对这些步骤做数据集的拆分?
RAG项目的评估方式有没有类似大模型的opencompass一样的框架做各种指标的评估操作?(听说面试的时候召回率怎么提升的是被问到的重点之一)