【LLM】第四章:GPT2讲解+古诗词生成案例
【LLM】第四章GPT2讲解古诗词生成案例GPT(Generative Pre-trained Transformer)是一个生成模型也是第一个系统性提出预训练微调范式的语言模型。其核心思想是通过大规模无监督语料进行生成式语言建模预训练即训练模型根据前面上下文预测下一个词从而让模型学习自然语言的通用语法、语义和上下文依赖能力。完成预训练后再通过微调适应具体的下游任务。GPT首次展示了生成式语言模型在自然语言理解任务中的广泛迁移能力为后续GPT系列以及整个预训练语言模型的发展奠定了基础。一、GPT概述¶待续。。。。
