关于ChatGPT的相关报道揭秘爆红chatgpt之父

想必大家都知道chatGPT了，可能部分人还没玩过，我从去年11月份就开始玩了，既然玩了这么久，那就带大家一起看看这家公司的发展史，再扒一扒背后这位创始人神秘大佬(据说是个gay)的成长史。
一、公司发展
2015年，有这么一群有钱人，埃隆·马斯克、山姆·奥特曼、彼得·泰尔等科技领袖，他们出于对强人工智能潜在风险的担忧，创办了OpenAI 。
《教父》里有这样一句台词“离自己的朋友要近，离自己的敌人要更近”，他们作为引领世界科技的创业者，自然知道AI未来会发展成什么样，既然无法阻挡洪流，索性加入他们。

文章插图
公司成立之初，主要资金来源于马斯克、奥特曼和贝宝的联合创始人彼得 · 泰尔等私人投资者，10 亿美元。起初OpenAI是一个非赢利组织，向公众开放专利和研究成果。
在这些机构向人类关上大门的时候，OpenAI 将会是敞开的。这个可能说百度的竞价排名可能更能让人深有体会。
直到2017年，当研究小组研究这一领域的趋势时，他们意识到在财务上保持非营利组织属性是站不住脚的。该领域内其他组织用于取得突破性成果的计算资源大概每 3.4 个月翻一番。“为了保持相关性”，他们显然需要足够的资本来匹配或超过这种指数级增长。
有时不得不向世俗妥协的时候，既要被包养，也要保持独立的人格。最终在公司发展上，马斯克与公司产生分歧，选择退出，而阿尔特曼辞去Y孵化器总裁，出任OpenAI 的CEO 。
在2019年成立OpenAI LP子公司，目的为营利所用，各项研究成果也也不对外开源了。这是一个艰难的选择，也是一个艰难的时刻，公司的理念的转变受到公司员工及其他关注该公司的人员的不理解。没有任何一个人的路是好走的，即使是世界最聪明最有钱的一群人。

文章插图
任何对OpenAI LP投资的利润都将转移到一个大的非盈利公司上，回报达到投资的100倍之后才会分配利润，这个时候微软像一个土豪，就怕你不要钱，带上了10亿美元注资OpenAI 。接下来，就是加速增长了，如下图。
模型发布时间
参数量
预训练数据量
GPT
2018年6月
1.17亿
5GB
GPT-2
2019年2月
15亿
40GB
GPT-3
2020年5月
1750亿
45TB
据国盛证券报告《ChatGPT需要多少算力》估算，GPT-3训练一次的成本约为140万美元，对于一些更大的LLM（大型语言模型），训练成本介于200万美元至1200万美元之间。
以ChatGPT在1月的独立访客平均数1300万计算，其对应芯片需求为3万多片英伟达A100 GPU，初始投入成本约为8亿美元，每日电费在5万美元左右。
这让我想到国内的大语言模型，也许钱是可以搞定的事，但是A100已经被美国禁售了，这个就很难办了，要在本就落后的基础上，算力还不如别人，如何追赶上？

文章插图
说回正题，openAI的一群大佬一看3的效果，发现还是有问题，有时候给的答案很好，有时候又很无厘头，这就是缺少教育，教育是什么，是反馈，并不是单单是训练，你狂做题目，没人告诉你答案正确与否，是行不通，只会走火入魔是吧。
这之后就开启了人工标注工作，也就是监督微调（SFT）模型，模型开发的第一步就是需要雇用 40 名承包商来创建一个“有监督训练数据集”对 GPT-3 模型进行微调，里面的输入均有已知的输出，用来给模型学习。

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

关于ChatGPT的相关报道 揭秘爆红chatgpt之父

关于ChatGPT的相关报道揭秘爆红chatgpt之父