关于Embedding预训练
来源：9-1 LangChain进阶实战：外挂知识库实现行业文档智能问答实战项目【时间另通知】
DataSciAI
2024-03-13 22:43:32
在构建RAG之前进行Embedding的pretrain怎么理解？是需要用自己的数据继续训练微调其他的开源Embedding模型吗？不同的大模型有没有指定的Embedding模型还是说都可以用自己的数据微调然后进行词嵌入
写回答
1回答
-
RAG 有两个步骤，检索（可以用大模型或其他模型/策略）和 生成（一定用大模型效果才会好）；
你这里说的 Embedding 是用于 检索的，那么检索一版用语义相关性，所以一般会用自己的数据做 finetune. 和你用什么大模型做生成没有关系，这里是为了提升检索的效果。
1
LLM大语言模型算法特训
从入门-案例实战-多领域应用-面试指导-推荐就业，匹配课前知识路线、详细学习笔记和全方位服务，助力学习与就业，快速实现职业跃迁。附赠价值2000元+的大模型项目代码/数据和配套环境和GPU。
239 学习 · 28 问题
相似问题