老师您好！生成序列第n个字符需要前n-1个字符的token进程预测。那么是不是越生成到后面，生成的速度越慢。

首页课程实战体系课手记专栏慕课教程

来源：3-9 大模型的核心--transformer 模型【学习辅导笔记】

慕妹7273336

2024-03-24 22:43:59

老师您好！生成序列第n个字符需要前n-1个字符的token进程预测。那么是不是越生成到后面，生成的速度越慢。

写回答

1回答

那位科技大模型算法

2024-04-01

不会哈，看看温度等参数的作用，输出都是同样的函数和规则，只不过输入多了，但不影响计算的次数和时间。可以理解为每次多了一个词只是影响到输入文字的分布概率和向量。

LLM大语言模型算法特训

从入门-案例实战-多领域应用-面试指导-推荐就业，匹配课前知识路线、详细学习笔记和全方位服务，助力学习与就业，快速实现职业跃迁。附赠价值2000元+的大模型项目代码/数据和配套环境和GPU。

239 学习 · 28 问题

相似问题

回答 1

回答 4

回答 1

回答 1

回答 1