关于这里的的q k v含义

首页课程实战体系课手记专栏慕课教程

关于这里的的q k v含义

来源：5-1 深入大模型基础理论夯实【回放】

DataSciAI

2023-12-06 20:14:14

请问这里面的q k v中的v是怎么计算出来的？

写回答

1回答

那位科技大模型算法

2023-12-11

已采纳

在我们的学习笔记里面有重点提到哈，transformer论文中利用每个xi向量构建出三种向量：q (Query) , k (Key) ,v(Value)，构建方法是用xi对这里的Wq , Wk 和Wv三个矩阵做内积，这里矩阵里面的数值也是作为参数学出来的。

在这个步骤，里面 v=权重 * v（初始化）

LLM大语言模型算法特训

从入门-案例实战-多领域应用-面试指导-推荐就业，匹配课前知识路线、详细学习笔记和全方位服务，助力学习与就业，快速实现职业跃迁。附赠价值2000元+的大模型项目代码/数据和配套环境和GPU。

240 学习 · 29 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 4