AI 工程师的崛起
头部企业如OpenAI、微软、谷歌会垄断稀缺的机器学习研究人才和GPU等资源，并通过开源和API释放出“基础模型”的能力。市场对AI技术的需求将催生出AI工程师这一新兴工程职位。与机器学习工程师不同，AI工程师不需要了解机器学习技术，不需要做模型训练，AI工程师要掌握的是各种“基础模型”的能力以及如何充分利用这些能力打造出用户需要的产品。尽管LLMs可以生成代码，但手工编写代码仍有用武之地，现在智能应用存在两种架构，一是以LLM为核，代码为壳如AutoGPT，也叫"Software atop intelligence" , 另一种是以代码为核，LLM为壳如Copilot, 也叫“Intelligent Software"， 未来随着人类对AI越来越充分的利用，AI越来越多的参与工程，两者最终会融为一体，难分彼此。
我们正见证的是一次由基础模型的新兴能力和开源/API推动的AI技术从研究到应用的巨大变革。
在 2013 需要 5 年和一个研究团队才能完成的各种 AI 任务，现在只需要API 文档和一个空闲的下午。
上图中的API 线是可渗透的，AI 工程师可以向左做模型调整/托管，研究工程师也可以向右在 API 之上构建应用，但他们的相对优势和侧重方向是明确的。
然而，细节是魔鬼，评估、应用和产品化人工智能会面临无尽的挑战：
模型：从评估最大的GPT-4和Claude模型，到最小的开源Huggingface，LLaMA和其他模型。
工具：从最流行的链、检索和向量搜索工具，如LangChain、LlamaIndex和Pinecone，到新兴的自主Agent领域，如Auto-GPT和BabyAGI。
新闻：除此之外，每天发表的论文、模型和技术的数量呈指数增长，而且随着兴趣和资金的增加，这种增长趋势更加明显。因此，要跟上这一切几乎需要全职工作。
严肃的讲，我认为这就是一份全职工作。软件工程即将诞生一门新的子学科，该学科专门研究人工智能应用和如何有效地利用新兴技术栈，就像“站点可靠性工程师”、“DevOps工程师”、“数据工程师”和“分析工程师”一样。
这门新兴子学科的从业者似乎就是AI工程师。
我所知道的每家创业公司都有类似 #discuss-ai 的 Slack频道。这些频道逐渐从非正式小组转变为正式团队，就像Amplitude，Replit和Concept所做的那样。成千上万的软件工程师致力于创建 AI APIs和开源软件模型，无论是在上班时间还是在晚上和周末，在公司Slack或独立Discords中，这些工作都将专业化并融合在AI工程师的头衔上。这有可能是十年来需求最高的工程职位。
AI工程师无处不在，从微软和谷歌这样的大公司，到领先的初创公司，例如Figma（通过收购Diagram），Vercel（如Hassan El Mghari的病毒式RoomGPT）和Notion（如Ivan Zhao和Simon Last的Notion AI），再到像[Simon Willison](Simon Willison)、Pieter Levels（Photo AI /Interior AI）和Riley Goodside（现在在Scale AI）这样的独立黑客。他们在Anthropic做Pompt工程可以赚取30万美元/年，在OpenAI建立软件可以赚取90万美元。他们在AGI House度过免费的周末，研究想法并在Reddit 的 /r/LocalLLaMA上分享技巧。他们共同的特点是将人工智能的进步转化为几乎在一夜之间就被数百万人使用的实际产品。
这里面一个博士头衔也没有，当涉及到交付人工智能产品时，你需要的是工程师，而不是研究人员。
AI工程师将反超机器学习工程师
在Indeed上，机器学习工程师职位的数量是人工智能工程师职位的10倍，但“人工智能”的增长率更高，我预测这个比例将在5年内反转。
我们都知道AI和ML工程概念上似乎存在争议，也很清楚普通的“软件工程师”角色完全能够构建AI软件。然而，最近的一个Ask HN问题“如何进入AI工程”说明了市场上存在的一种基本看法：
大多数人仍然认为AI工程是机器学习或数据工程的一种形式，因此他们建议相同的先决条件。但我可以保证，我上面提到的高效AI工程师中没有一个人做过吴恩达 Coursera课程中的等效工作，也不知道PyTorch，也不知道数据湖或数据仓库的区别。
在不久的将来，没有人会建议通过阅读《Attention is All You Need,》来开始AI工程，就像你不会通过阅读福特T型车的原理图来开始驾驶一样。 当然，了解基础知识和历史总是有益的，并且确实可以帮助你找到新的想法和效率/能力增益。但有时你可以只是使用产品并通过经验来了解它们的品质。
我不指望这种变化会一夜之间发生。人类的天性就是想要充实简历，完善市场地图，并通过引用更深入的话题以及更有权威性的方式脱颖而出。换句话说，未来很长一段时间，对有着良好的数据科学/机器学习背景的工程师来说，Prompt 工程和AI 工程会显得比较low。然而，我认为供需关系将最终占上风。
为什么 AI 工程师正在崛起？
基础模型是“少样本学习者”，展现出的上下文学习甚至零样本迁移（zero shot transfer ）能力超出了模型训练者的初衷。换句话说，创建模型的人并不完全清楚它们能做什么。而非LLM研究人员可以通过花更多的时间在模型上来发现和利用其能力，并将其应用于被研究低估的领域（例如专攻文案领域的Jasper）
Microsoft，谷歌，Meta和大型基础模型实验室已经垄断了稀缺的研究人才，他们提供了“AI 研究即服务”的API。你虽然不能雇用他们，但如果你在应用端有知道如何利用这些API的工程师，你就可以租用他们。世界上有大约5000名LLM研究人员，但有约5千万软件工程师。供应限制决定了“介于两者之间”的AI 工程师阶层将崛起以满足需求。
GPU 囤积。当然，OpenAI和Microsoft 是第一梯队，但 Stability AI 通过强调他们的 4000 GPU 集群，拉开了初创企业 GPU 军备竞赛的序幕。从那时起，像Inflection（130美元），Mistral（1.13亿美元），Reka（5800万美元），Poolside（2600万美元）和Concontext（2000万美元）这样的初创公司为了拥有自己的硬件而筹集巨额种子轮融资已经变得司空见惯。Dan Gross和Nat Friedman甚至宣布了Andromeda，这是他们价值1亿美元，10个exaflop GPU的集群，专门用于他们投资的初创公司。全球芯片短缺的连锁反应导致短缺正在进一步扩大。API生产线另一端的AI工程师将有更多的能力使用模型，而不是训练它们。
开火，准备，瞄准。如今我们不再需要数据科学家和ML工程师进行费时费力的数据收集整理以训练出特定领域的模型。在使用特定数据进行微调前，产品经理和软件工程师可以通过Prompt与LLM交互，从而构建和验证产品创意。
假设后者比前者多100到1000倍，采用Prompt工程构建原型的“先开火，再准备，最后瞄准”的工作流程可以比传统的机器学习快10到100倍。因此，AI工程师将能够以便宜1,000到10,000倍的成本验证AI产品。如果用瀑布式开发与敏捷开发做类比，AI工程就是敏捷开发。
从Python到JavaScript。在数据和人工智能领域Python是最主流的开发语言，像LangChain，LlamaIndex和Guardrails这些首批AI工程工具就来自Python社区。然而，JavaScript开发人员的数量不比Python开发人员少，所以现在越来越多的工具也在满足这一广泛的受众，从LangChain.js和Transformers到Vercel的新AI SDK.js。对AI工程师而言这意味着更大的市场规模和机会。
生成式AI 与分类器机器学习。“生成式AI”这个词的热度在逐渐褪去，被其他新的类似概念如“推理引擎”所取代。但它在简洁地表达现有MLOps工具和ML从业者与正在崛起的擅长使用LLMs和文生图生成器的截然不同的人物之间的差异时仍然很有用。
现有机器学习可能专注于欺诈风险检测、推荐系统、异常检测和特征存储，AI工程师正在构建的是写作应用、个性化学习工具、自然语言电子表格和类似Factorio的可视化编程语言。
每当一个完全不同背景、说不同语言、生产完全不同产品并使用完全不同工具的子群体出现时，他们最终会分裂并形成一个独立群体。
1+2=3：代码在从软件2.0到软件3.0的演变中的作用
6年前，Andrej Karpathy写了一篇非常有影响力的文章，描述了软件2.0 ，文章将手工编码的精确逻辑代表的“经典模式”的与机器学习神经网络的近似逻辑代表的新开发模式进行了比较。新的开发模式使软件能够解决人类甚至无法建模的问题。他今年进一步指出，最热门的新编程语言是英语，最终填补了他在原始文章中未标记的灰色区域。
去年，Prompt Engineering是关于人们如何开始利用GPT-3和Stable Diffusion改变工作方式的模因。人们嘲笑AI初创公司其实是“OpenAI套壳”，并担心LLM应用程序容易受到提示注入和反向提示工程（prompt injection and reverse prompt engineering）的影响。怀疑该类型企业能否找到护城河？
但2023年最重要的主题之一是重新确立人工编写的代码在编排和取代LLM能力方面的作用，从价值 2 亿美元的庞然大物 Langchain 到 Nvidia 支持的 Voyager，毫无疑问地展示了代码生成和重用的重要性（我最近参加了 Harrison 的 Chains vs Agents 网络研讨会，在会上我延伸了以代码为核心和以 LLM为核心的应用程序的论点）。
主要的架构鸿沟：“智能之上的软件”与“智能软件”
Prompt Engineering的确是被夸大了，但它还会继续存在。 软件1.0范式在软件3.0应用中的重新出现是一个充满大量机会和混乱的领域，为一堆初创公司创造了空间。
当然，也并不是说代码必须由人来写。我近期探索的smol-developer、gpt-engineer以及其他代码生成Agent如Codium AI、Codegen.ai和Morph/Rift将逐渐成为AI工程师工具包的一部分。随着人类工程师学会利用AI，AI也将越来越多地参与工程，直到遥远未来的某一天，两者已融为一体，再难分彼此。