ChatGPT如何以假乱真

ChatGPT是一个采用基于GPT-3.5架构的大型语言模型，与InstructGPT模型是姐妹模型（sibling model），使用了人类反馈强化学习（RLHF）技术来更好地让语言模型与人类指令保持一致。

而GPT（Generative Pre-Trained Transformer）是一系列基于Transformer的深度学习语言模型，利用机器学习算法来分析和理解文本输入的含义，然后根据该输入生成响应。该模型在大量文本数据上进行训练，使其能够学习自然语言的模式和结构。

· 2018年6月，OpenAl在“Improving Language Understanding by Generative Pre- Training”的论文中提出了第一个GPT模型GPT-1，GPT-1以无监督预训练＋有监督微调的方式，针对特定任务进行训练，实现了 “强大的自然语言理解”。

· 2019年2月，OpenAl发表了第二篇论文 “Language Models are Unsupervised Multitask Learners”，其中介绍了由GPT-1演变的GPT-2。GPT-2可以完成多任务处理，成功地证明了半监督语言模型可以在“无需特定任务训练”的情况下，在多项任务上也能够表现出色。

· 2020年5月，OpenAl发表“Language Models are Few-Shot Learners”，呈现GPT-3，GPT-3比GPT-2大100倍，它拥有1750 亿个参数。

· 2022年11月底，OpenAl进行了两次更新，ChatGPT由效果更强大的GPT-3.5系列模型提供支持，可以用更接近人类的思考方式参与用户的查询过程。

ChatGPT模型的训练过程：

i. 使用有监督的微调训练初始模型：人类训练师之间提供对话，其中一个扮演用户，另一个扮演ChatGPT中的Al助手。为了创建强化学习的奖励模型，需要收集比较数据，并使用收集到的数据调整GPT-3.5模型；

ii. 模型会根据提示生成多个输出，训练师将ChatGPT编写的回复与人类的回答进行比较，并对它们的质量进行排名，以帮助强化机器的类人对话风格。奖励模型将自动执行最后一个训练阶段，使用排名后的数据训练；

iii. 在最后一步使用近端策略优化进一步调整，这是OpenAl广泛使用的强化学习技术。

曾几何时，AI生成的文字内容还是“一眼假”，但自从ChatGPT横空出世以来，这种分辨工作是越来越难做了。语言生成模型来了，学校作业会不会从此变得形同虚设？

就在1月3日，拥有全美最大公立学校系统的纽约市，正式颁布了ChatGPT禁令。也就是说，不管是老师还是学生，都无法在纽约市公立学校的网络和设备上使用ChatGPT。最近，洛杉矶和巴尔的摩的学区也加入到了这个行列。

ChatGPT存在的问题

虽然ChatGPT是一个 "的大里程碑"，但它并不完美，而这正是其工程师需要警惕的地方。

GPT-3.5仅依赖于其训练数据中的统计规律，不会在网络上抓取时事信息，使得它的一些回答略显陈旧，在输出的准确性上也会有所降低；还会导致某些问题的回答上会出现致命性错误，看似有逻辑的表达实则为错误的信息输出，用户需要具有鉴别回答质量与准确性的能力。

其次在披露ChatGPT时，OpenAI说它已经进行了检查，努力使模型拒绝不适当的请求，以防止它产生恶意代码。但有人已经找到了欺骗该系统的方法，使其认为它只用于研究目的，对有害的指令作出反应或表现出有偏见的行为。

另外，GPT到GPT-2到GPT-3，虽然在算法模型并没有太大改变，但参数量从1.17亿增加到1750亿，预训练数据量从5GB增加到45TB，其中GPT-3训练一次的费用是460万美元，总训练成本达1200万美元。

根据OpenAl创始人Sam Altman描述，ChatGPT单轮对话平均费用在0.01-0.2美元。对于想要复刻的公司来讲，开发成本是主要的门槛。

重金押注ChatGPT

据路透社援引Semafor消息报道，正在考虑计划向OpenAI增投100亿美元，如果合作达成，将持有其49%的股份。早在2019年，微软就向这家初创公司投资了10亿美元，这笔交易将OpenAI与微软云计算平台捆绑在一起。

这一金额也将超过微软近年来的所有收购，只有三笔除外：2016年斥资260亿美元收购的职业社交网站领英；去年又花200亿美元对Nuance Communications Inc.进行收购；以及目前正在寻求反垄断批准想以690亿美元收购视频游戏制造商动视暴雪公司。

微软本身几十年来一直致力于项目，并在语音和图像识别等领域取得了重大进展，增持OpenAI股份与微软要在云计算市场上占据更大份额的目标一致 —— 将使微软在Azure上开发OpenAI技术方面占据有利位置，Azure不仅是微软的云基础设施，还是其增长最快的业务之一。

科技行业对ChatGPT感到如此兴奋的另一个重要原因是机器人可能会改变网络搜索，它可能会打破和其他科技巨头在搜索领域的长期主导地位。

对微软来说，加大对OpenAI的投资，还可以防止OpenAI的产品流向竞争对手，包括亚马逊网络服务和。确保一旦开始颠覆现状，微软不仅能够毫发无损，还可以从中受益。

根据业内人士爆料，微软目前正准备筹备推出新版本的Bing，预计会在2023年3月底前推出这项功能。产品亮点是会使用人工智能技术来回答搜索查询，而不是像之前的那些，仅显示搜索结果的列表。

值得注意的是，根据微软和OpenAI的协议，微软应该可以提前获得OpenAI语言模型的下一次迭代GPT-4的技术，并且会在今年年内推出。如果GPT-4能解决搜索的准确性问题，而且微软能做出一个吸引人的搜索界面，那么它就可能对谷歌搜索构成威胁。

如果解决了上文提到的问题，并且将ChatGPT技术整合到微软的全部生态，例如 LinkedIn、Nuance Communications、Two Hat Security甚至GitHub Inc… 那就毫无疑问微软将会拥有一个更光明的前景。