https://mp.weixin.qq.com/s/xpEnyuEnJ6ZQ11P94k2Q0A
1,对 GPT 的新认识。
不止于模型,而是下一代超级计算机,重构了「用户交互+软件执行+计算」
传统计算机是这样的:CPU-> 数据库 + 代码 +UI / OS-> 用户
LLM“计算机”变成了这样:GPU->LLM 模型 -> 自然语言 -> 用户
模型本身就是产品,如ChatGPT / MidJourney/ Characte等
自然语言 = API
大模型的竞争本质是入口的竞争:生产力入口、助理入口、娱乐入口等
激烈程度就类似于航天航空领域的竞争一样,各个语系会有独立的大模型。
竞争获胜的关键因子:数据 、人才密度、 组织能力 、 GPU 资源 、 杀手级应用。
数据是GPT的核心秘方,GPT 的北极星能力是复杂推理能力,能写代码,解题等复杂问题的处理。
2,OpenAI。
目标:下一代模型会接近 AGI(通用人工智能),终极目标是用模型发现新的科学定律;ChatGPT达到 10 亿用户(和 Office 一个量级)。
ChatGPT当前数据:2.8 亿 MAU,周末数据下跌(缺娱乐场景);付费用户是 MAU 的2.7%,约 700 万;20% 场景是教育,比人类助教优秀;今年预计 10 亿美金收入(ChatGPT 占 70-80%);Plugin用户十万左右(未来希望训练模型操作计算机)。
商业模式:个人工作助理 + 企业客户定制。
OpenAI 组织力优势仍然很强:自上而下为主,部分自下而上(那几个创始人不喜欢管理,有专人制定行动路线,分配资源)。
3,关于开源社区。
开源社区也许也能获得高质量数据,但如何把握配方和各种超参数很难;
开源软件某部分没写对仍然能 work,但做 LLM 必须全部正确,没法小修小补;
未来趋势:大模型探索新方法,缩小规模做小模型,大模型和小模型互相交流;
OpenAI 的模型就是从大到小,以前不愿开源,未来可能开。
4,关于hallucination(幻觉)问题。
原因:网上错误信息多,模型学走了; 爱模仿,对正确信息判断不好。
解决方式:扩大模型规模(能降低20%);让模型在回答问题前尽可能地跟人类一样取思考,即检索和验证(前提是成本得降低)。
5,LLM 训练中的事实与观点。
预训练(Pre-training)
事实:GPT 系列是小创新乘起来带来的成功 • 训练数据量远超其他大模型 • 预训练阶段使用工具:Ray & Wandb
观点:更长的模型输入窗口是一个近期会持续突破的问题 • 预训练数据集的比例会直接影响其模型的效果,Code data 比例很高 • 当模型大于 Llama 这个量级之后,开源团队会遇到瓶颈.
精细化调整(Fine-tuning)
奖励模型(Reward-modeling)
强化学习(Reinforcement Learning)
备注:GPT的全称,是Generative Pre-Trained Transformer(生成式预训练Transformer模型)是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。
AGI即Artificial general intelligence的简写 ,计算机科学与技术专业用语,专指通用人工智能。
大语言模型(Large Language Model,LLM;Large Language Models,LLMs)
报告来自《拾象硅谷调研State of LLM》