https://mp.weixin.qq.com/s/4×3-Dai-w-SlNyTI53UfCQ

大神 Karpathy 在“YC AI 创业学校”的演讲,探讨了软件的演变,将其分为三个阶段:软件1.0(代码)、软件2.0(权重)和软件3.0(提示)。他将大型语言模型(LLM)比作公用事业、芯片工厂和操作系统,指出它们正在改变技术传播方式,使数十亿人能够使用。演讲还深入探讨了LLM的心理学,将其描述为具有记忆、幻觉和脆弱性的“人魂模拟器”。

软件范式的演变:从1.0到3.0
软件1.0:就是亲手写代码,一行行告诉电脑“干这个、干那个”。传统网站、手机App、操作系统内核,大部分是1.0时代的产物。特点就是代码是死的,逻辑全靠人脑设计,改 bug 也费劲,对专业技能要求也高。
软件2.0:程序员准备好数据,用算法调出“权重”,让模型自己学会干活。特点就是代码少了,数据和模型更重要。
软件3.0:就是现在这种大模型下的玩法,直接用自然语言跟AI聊天,告诉它“帮我写个程序”或“分析这条评论是正面还是负面”,AI就给你搞定。特点就是普通人也能随便编程了。

Karpathy意思就是说,现在是软件3.0时代,AI像“新电脑”,3.0让每个人都能当“程序员”。这让软件开发从少数人的游戏变成全民狂欢。

LLM:像操作系统一样的“新电脑”
Karpathy把LLM比作一种新型电脑,有点像操作系统的雏形:
LLM是CPU:处理核心,负责计算和推理。
上下文窗口是内存:短期记忆,决定模型能记住多少信息。
编程用英语等自然语言:不像传统编程语言,LLM的“程序”是用自然语言写的,门槛超低。
像Windows或MacOS,LLM有闭源(比如OpenAI)和开源(比如Llama)生态。
像1960年代的计算机,LLM计算资源昂贵,只能通过云端“分时共享”(类似API调用),个人电脑革命还没到来。
跟操作系统终端一样,直接跟LLM对话就像在命令行敲指令,图形界面(GUI)还没完全普及。
提到说「LLM像水电一样,是基础设施,OpenAI等公司花大钱训练模型(像建电站),然后通过API按使用量收费(像电费)」

LLM的“人性”:超能力与缺陷
超能力的部分:
百科全书式记忆:读过海量文本,记得比任何人都多。
多才多艺:能写代码、翻译、回答问题,覆盖各种领域。
缺陷也很明显:
幻觉:会胡编乱造,瞎说一通。
不稳定智能:某些任务超强,但会犯低级错误(例如“9.11大于9.9”,“strawberry有两个r”)。
短期记忆:上下文窗口像工作记忆,过长就忘,缺乏长期学习能力。
安全问题:容易被“忽悠”(提示注入攻击),可能泄露数据。
提到一个应对策略:利用LLM的超能力,绕过它们的缺陷。比如用清晰的提示减少幻觉,用图形界面(GUI)让人快速检查AI输出。

机会:部分自主的AI应用
Karpathy认为,LLM将催生“部分自主”应用,结合AI和人的协作。
拿编程工具Cursor举例:传统代码编辑器+LLM,人在主导,AI辅助。
搜索工具Perplexity:类似Google,但整合LLM,能做快速搜索或深度研究。有GUI显示信息来源,方便人检查,还能调整自主度。

编程民主化:人人都能“Vibe Coding”
最近也挺火的一个词Vibe Coding(氛围编程),意思是凭感觉写代码,靠LLM帮你实现。
过去学编程要5-10年,现在普通人也能快速上手。像视频里小孩用LLM写代码,未来编程会像“入门毒药”,吸引更多人搞开发。编程不再是码农专属,人人都能试试。

为AI代理(Agent)建基础设施
这是为了解决上面提到的「代码部分几小时搞定,但部署、认证、支付这些花了一周」这个苦恼给的建议。
Karpathy提出,AI代理是数字世界的新“消费者”和“操作者”,像人一样,但需要专门的基础设施支持。现在的软件是为人类(GUI)或电脑(API)设计的,Agent用起来很别扭。
比如提到,文档里说“点击这个按钮”,AI没法直接点,得翻译成代码(像cURL命令)。

Karpathy用《钢铁侠》的战衣比喻AI的未来
战衣是增强工具:托尼·斯塔克穿上战衣,能力大增,但人还在掌控。
战衣也能自主:在电影里,战衣能自己飞去找托尼,类似AI代理。
现在更适合做战衣:现阶段,LLM还不可靠,适合做增强工具(部分自主产品),而不是完全自主的“机器人”。
自主度滑块:产品要有从“辅助”到“全自动”的过渡能力,慢慢提高自主性。
Karpathy鼓励大家抓住这个“疯狂”的时代,进入行业,和他一起用自然语言“编程”新世界!