关于chatgpt使用方法 chatgpt详细介绍( 二 )

②监督学习：人类参与，帮助GPT理解人类喜好和期望的答案，本质为微调（fine-tune）。
③强化学习：根据用户使用时的反馈，持续优化和改进回答质量。
其中，自监督学习最关键。因为，大模型的魅力在于其“大”——大在两个方面：
①训练数据量大：
即训练大模型的数据规模，以GPT-3为例，其训练数据源为互联网的各种精选信息以及经典书籍，规模达到了45TB，相当于阅读了一亿本书。
②模型参数量大：
参数是神经网络中的一个术语，用于捕捉数据中的规律和特征。通常，宣称拥有百亿、千亿级别参数的大型模型，指的都是其参数量。
追求大型模型的参数量是为了利用其神奇的“涌现能力” ，实现所谓的“量变引起质变” 。举例来说，如果要求大模型根据emoji猜电影名称，如代表《海底总动员》。可以看到，当模型参数达到千亿级别时，匹配准确度大幅度提升。这表明模型参数量的增加对提高模型表现具有重要意义。

文章插图
处理其他多类型任务时，也有类似的效果：

文章插图
如实验所揭示的，只有当模型参数达到千亿级别，大模型的优势才得以凸显。GPT之外的其他大模型，也有类似的表现。
为什么？
目前主流观点认为，要完整完成一个任务，实际上需要经过很多子步骤。当模型大小不足时，大语言模型无法理解或执行所有步骤，导致最终结果不正确，达到千亿级参数时，其解决问题的全链路能力已经足够。人们以最终结果的正误作为评判标准，导致认为是一种“涌现” 。
在“涌现”问题上，人与猩猩的比喻很有趣。人类的大脑容量比猩猩大3倍，这种差异使得人类能够进行更复杂的思考、沟通和创造。两者的结构没有显著差异，这不也是“涌现”吗？
GPT-3.5正是千亿模型，参数达到了1750亿。相较于GPT-3，GPT-3.5主要针对模型参数进行了微调，使其在问答时更符合人类的习惯。据悉，GPT-4的模型参数量甚至达到了GPT-3.5的五倍之多，这也解释了为何GPT-4表现得如此聪明（体验过的人应该都能理解）。下面是GPT模型演进历史：

文章插图
二、GPT的局限性综上，GPT模型具有明显的、突破性的优势。典型的优势包括：①强大的语言理解能力；②极为广泛的知识储备；③学习能力与推理能力等等。这些能力让人们感觉人工智能真正拥有了“脑子”，想象着使用GPT解决一切问题。
然而，若要深入应用该技术，有必要了解其局限性，以便在实际应用中取长补短。主要总结六大局限：
1.逻辑不透明GPT模型的回答本质上是概率。传统的软件开发中，接口的输入和输出参数都是确定的，而在给定输入参数（即提示词）的情况下，GPT的回复却有一定随机性。当大家将ChatGPT作为聊天工具使用时，这种不精确可以是用户的谈资；当涉及到商业化软件应用时，设计时就需要特别注意降低不确定性，在大部分产品场景下，用户都很重视确定性。
2.短期记忆差得益于自注意力机制， ChatGPT具备了多轮对话能力。然而，它的记忆长度相当有限，GPT-3.5模型仅支持向前追溯4096个tokens用于回复的参考。更糟糕的是，这4096个tokens还包括ChatGPT之前回复用户的部分！这使得其捉襟见肘的记忆更加难堪，堪称电子金鱼。好在GPT-4已经将上下文token上限扩展至3.2万个，一定程度上缓解了这个问题。

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：