GPT大力出奇迹的LLM模型

　　周末一大早，睡眼惺忪的时候，就被学妹拉到了她的中科院校友会兴趣群里。博士、科学家们创建了个GPT兴趣群，学妹知道我现在正在夜以继日的试图跟上AI的进化，顺手拉了我一把。
　　短短几分钟之内，这个群就满员了。
　　学妹说，这个群的建立速度，充分反映了人类的好奇心和恐惧。
　　我说我感兴趣的的是这个群很可能会孵化出很多项目甚至初创公司。
　　要知道，GPT4之父OpenAI公司，恰好也是一家科学家组成的公司。
　　1、OpenAI的前生今世
　　很长一段时间，AI技术牢牢把持在谷歌、DeepMind（被谷歌收购）等巨头手里，尤其是DeepMind的阿尔法狗家喻户晓。
　　2015年12月，特斯拉汽车创始人埃隆马斯克，格雷格布罗克曼（OpenAI联合创始人兼总裁）、山姆阿尔特曼（OpenAI首席执行官）、彼得泰尔（Paypal创始人）以及伊利亚苏特斯科夫（师从神经网络之父杰弗里辛顿，OpenAI首席科学家）等数位硅谷大佬拿出了10亿美元，在旧金山创立了OpenAI。
　　不久前，马斯克发推抱怨：我仍然很困惑，为什么一个我捐赠了1亿美元的非营利性机构，竟然变成了一个市值300亿美元的营利性机构？
　　我们先不谈OpenAI的变质，如果不是微软不计成本的给它输血（资金、Azure云资源），我们恐怕看不到AI快速发展的今天。
　　2、什么是GPT
　　2017年，Google团队首次提出基于自注意力机制的Transformer模型，并将其应用于自然语言处理。
　　OpenAI应用了这项技术，2018年发布了最早的一代大型模型GPT1（GPT是GenerativePretrainedTransformer的简称，中文翻译为生成型预训练变换模型）。
　　该模型用于问答、文本摘要生成、机器翻译、分类、代码生成和对话AI。
　　GPT1诞生于2018年，主要实现功能包括：自然语言推理，判断两个句子的关系（包含、矛盾、中立）；问答与常识推理，输入文章及若干答案，输出答案的准确率；语义相似度识别，判断两个句子语义是否相关；分类，判断输入文本是指定的哪个类别。
　　GPT1使用了几十亿文本档案的语言资料库进行训练，模型的参数量为1。17亿个。
　　2019年，GPT2发布，模型参数量提高到15亿个。GPT2和GPT1在技术路线上没有本质的不同，只是增加了数据量。
　　2020年，GPT3发布，参数量达到了创纪录的1750亿个，其训练参数是GPT2的10倍以上，技术路线上则去掉了初代GPT的微调步骤，直接输入自然语言当作指示，给GPT训练读过文字和句子后可接续问题的能力，同时包含了更为广泛的主题。
　　OpenAI在GPT3的预训练过程中喂入了超过570GB的文本资料。当GPT3获得足够丰富的知识库时，其生成的结果也变得越来越精确。
　　2022年发布的ChatGPT，是在GPT3基础上的GPT3。5版本。
　　如果说ChatGPT带来一抹惊艳的话，GPT4就是对传统AI摧枯拉朽的打击。
　　从参数量来说，GPT4高达100万亿个（据报道未证实，也有人推算没有那么大）。
　　GPT4的一个关键升级就是多模态，也就是支持图像和文本输入，拥有强大的识图能力。甚至能看懂梗图，并能找到梗所在的点。
　　GPT的发展过程中，1、2都没有带来太多的影响力，被认为是各种AI路线中的一支。但随着GPT3尤其是GPT4的出现，人们惊讶的发现，原来这就是AI的未来。
　　即便是大量资源押注AI的谷歌，也没有料到GPT的成功。中国的AI企业也在相关领域进行研发。
　　乐观估计，中国相关企业在技术上落后的时间大概是23年，并没有非常大的代差。
　　3、关于LLM模型
　　人类和机器的交互，是从汇编语言开始的。这是经过训练的人类和机器都能读懂的语言，但由于门槛过高，开始衍生出各种编程语言。
　　从上古的C语言到现在流行的Python，编程语言越来越简单，但距离机器直接理解人类的语言，依然有一定的距离。
　　我们必须需要工程师来做这个翻译。
　　NLP（NaturalLanguageProcessing自然语言处理）研究的目标，就是让机器能够直接理解并能输出人类语言。
　　其中，GPT依赖的LLM（LargeLanguageModel，大型语言模型）成为目前最佳的选择方案。
　　PS，我不认为LLM是唯一的最终路线，只是现阶段最合适的路线。
　　OpenAI的成功有一定的偶然性，如果不是微软在搜索领域本来就比较落后，所以敢于搏命，ChatGPT这种模式，对搜自身的索引擎业务是致命打击（谁还去付广告费？）。
　　从GPT1到GPT4的迭代，并非是由于关键技术革命性的突破（也不是认为这个过程中技术的发展不重要），而是数据量的增加。
　　4、瓶颈
　　对于中国企业来说，方向既定的情况下，并不缺人才（全球顶级AI科学家30以上是中国人或华裔），缺的是资金和算力。
　　资金并不是一件太难的事，有了OpenAI金玉在前，国内资本大佬也会舍得投入，但算力是个大问题。
　　美国限制了A100等高端显卡对中国的出口，虽然黄皮衣第一时间推出了阉割版给中国特供，但性能差异非常明显。
　　国产显卡还刚刚起步，景嘉微还没有向算力卡方向大规模发展，摩尔进程大概能接近英伟达5、6年前的水准，壁仞科技也拿出了不错的产品，但大概率在代工方面受制于人。
　　考虑到OpenAI几乎喂进去全人类的知识量，也不过烧掉十几万张显卡，算力的问题，其实同样可以大力出奇迹，用相对低端的产品堆起来，这可能需要各大AI企业携手了。
　　有人认为中国的语境对AI的发展有严重束缚，殊不知在吃西瓜摘棉花都是敏感词的美国，语境限制并不差到哪儿去，从技术上来讲，这都是小事。
　　还有人认为显卡的缺失和中国长期禁游戏有关，虽然我个人也反对无差别的禁游戏，但问题是也没人用10万块（黑市20万）的A100来打游戏啊！
　　5、应用
　　现在的GPT4已经开放了文字输入输出功能，展示（暂未开放）了图像的识别和输出功能，可以想象的未来，语音、视频等真正多模态的输入输出，将成为各大AI企业创新研发的重点。
　　比如有人认为中文在互联网上占比太低，导致GPT4里的中文内容缺乏。这个问题其实很好解决（事实上GPT4也是这么办的），把中文翻译成英文后再输入LLM，输出再翻译回来。
　　那么在语音结合方面，科大讯飞就比较有优势，可以把语音转化成文字最终翻译成英文喂给AI；类似的，在视频结合方面，海康、商汤、旷视等企业就有很大的优势，把视频信息解读为文本信息再喂给AI。
　　回过头来再看当初的制裁，是不是豁然开朗了？