生产工具是生产力发展水平的客观尺度。

—《马克思主义基本原理》

本文主要探索GPT的突破与局限性，而前两篇笔记，探讨了《BERT与GPT基础》以及《GPT是什么？》。

GPT的突破在哪？

GPT目前看似只能解决自然生成领域的任务，但实际上，他展现出了通用型人工智能的潜力。在前面，我们讲过，目前而言，BERT擅长自然语言理解类任务（类似完形填空），GPT擅长自然语言生成类任务（类似写作文）。

但在Google的FLAN-T5模型上已经实现了两类任务在输入输出形式上的统一，从而使得用GPT来做完形填空成为可能。也就是可以用一个大模型来解决所有NLP领域的问题。

国内、谷歌都完全落后于ChatGPT，在NLP领域，有一个基础组件叫做Transformer属于标配，这个组件是由前向神经网络+自注意力（Self-Attention）两个部分组成。

前文说过，Transformer会构成Bert模型（2018年），Bert的原理类似完形填空，利用上下文进行训练，由谷歌发明，百度跟进做出了Ernie，大概是落后1-2年，华为、浪潮等等都在跟着做Bert，这是一个主要流派，早期Bert流行程度是好于GPT的，一些业内人士也习惯使用Bert。

OpenAI属于另外一个流派，也是2018年出现的背后是微软，之前还有马斯克。GPT也是使用Transformer，但是它的逻辑是预测，比如"我喜欢人工____"预测后面两个字是智能，这样就和完形填空，空格前后都有的去预测差异非常大了，更像人在说话。但是它在用的时候，如果加一些模块，也可以做完形填空、文本分类、推理等等了。

GPT1、2都没有激起什么水花，但是GPT3出来后，其大模型计算量是Berat-base的上千倍。GPT3里面还有一个颠覆，是通过提示学习，实现自动举一反三。

除此之外，GPT3它就像自己的名字一样，更像是一个通用智能了，以至于有这么多“新闻”，比如某大学生用它写毕业论文，某员工用其面试，某工作人员用它写报告，而这与称霸围棋界的AlphaGo，主要能使用在规则确定的围棋领域，有较大的差异，这也是其突破性之一。

GPT的局限性

成本高昂

GPT运营的成本高昂是其一大局限性，不过在资本面前这些好像并不算什么。具体来看，有比如计算资源成本（460w美元迭代训练1次，1750亿参数（类似大脑神经元）对45TB数据逐一去计算，英伟达的A100一块就要1万美元以上，GPT使用的超算平台使用了1w块，而且GPU的寿命有限）、研发投入、使用成本（每个用户的每次平均成本是0.01-0.2美元）等等。API调用是OpenAI商业模式之一，根据估算图片调用1次价格为0.016~0.02美元，语言模型调用为1K tokens（约750词）0.0004~0.02美元。随着使用规模变大，这些计算成本可能将飙升至数百万美元。有分析称，ChatGPT每回复一次，OpenAI 的投入为1美分。而在去年12月，山姆·阿尔特曼曾在推特上回应马斯克关于成本的问题，“ChatGPT每次的对话大概花费在几美分。”据美国《财富》杂志报道，2022年，OpenAI公司净亏损总额为5.45亿美元。小冰CEO李笛告诉《深网》：“小冰框架当前所支撑的对话交互量，一天就达到14个人类一辈子的对话交互量。若使用ChatGPT的方法，每天成本将高达3亿元，一年成本将超过1000亿元。对于产品化而言，即使再将成本下降10倍，这个商业模式也是无法成立的，因为这个成本与人类比没有优势。”

训练与回答的局限性

GPT本质上还是依据“大力飞砖”的方式基于概率的回答，而不是自我思考，因此其受到依赖历史数据有限、易受人类训练师偏好影响、回复答案不可控（部分答案政府不希望看到）等等影响；

中信证券也提到，ChatGPT的局限性，包括“一是受制于模型训练方式，数据难以实时更新；二是单次搜索成本过于高昂，测算生成一条信息的成本在1.3美分左右，是目前传统搜索引擎的3到4倍；三是统计学模型产生的内容真假混杂，用户难以辨别。”

财通证券指出，从结果来看，ChatGPT在文字表意、标题撰写等方面均具有较高水平，但采用该种直接生成+翻译模式形成的报告仍具有以下问题：在标点和术语方面存在明显错误；其次，无法得知引用数据来源及可靠性；此外，部分复杂语句翻译后表意不清晰。

底仓逻辑问题

杨乐昆（Yann LeCun，深度学习三巨头之一，获得了图灵奖）认为，GPT系列有4个重大的问题：

（1）数据驱动方面，GPT模型的能力取决于大量的训练数据，而不是技术本身；

（2）GPT系列模型的泛化能力不佳，在处理复杂任务时容易出错；

（3）GPT系列模型缺乏对语言和世界的真实理解，不能像人类一样进行推理和思考；

（4）不符合人工智能的正确方向，因为真正的人工智能应该基于知识和概念，而不是大量的数据。

ChatGPT提升的核心点

ChatGPT有非常多待提升的点，具体提升路径需要等待下一步研究，欢迎关注我们，一起探索人工智能时代的“新世界”。

参考文献：《万字长文：AI产品经理视角的ChatGPT全解析》

参考视频：《究竟在怕什么？chatgpt纯技术原理全解析》

止于至善投资总经理、基金经理：何 理

2023年2月24日

【公司介绍】

止于至善投资是一家风格鲜明的价值投资私募基金，我们秉承“只以合理价格，投资卓越公司”的投资理念，尽心尽力为投资者们提供证券市场理财服务。

公司成立于2016年，现为中国证券基金业协会观察会员，私募登记编号P1032345，并具有投顾资格。目前，止于至善已经进入多家券商、信托公司、基金销售公司、高校与慈善机构、上市公司等机构的投资（代销）白名单，并荣获数十项金融行业权威奖项:

2022年顶端新闻、万和证券|年度最受欢迎私募基金经理(何理)

2021年万联证券|“联赢大满贯”私募大赛年度最佳管理人

2020年《每日经济新闻》|金鼎奖、东方财富|年度最佳私募基金公司

2019年东方财富|年度最佳私募基金投资经理(何理)

2018年新浪财经|私募基金优秀机构等

风险揭示及免责声明：

本媒介发布的内容基于被认为可靠和善意的来源处获得的信息，但不承担任何错误或疏漏责任，也不对任何人因使用本媒介发布的内容所引致的任何损失负任何责任。建议您谨慎对待本媒介发布的内容。市场有风险，投资者应该明白，产品的过往业绩不预示其未来表现，投资者在做出投资决策前应充分评估自身风险承受能力，认真阅读产品合同等相关法律文件，自行承担投资风险。投资有风险，入市需谨慎！