万字访谈剖析大模型对ICT行业影响
【受访人】
陈峭霖 博士，腾讯游戏海外首席数据科学家。北京大学学士，UCLA生物统计系博士，曾在诺华制药、SparkBeyond等企业工作。2018年加入腾讯，目前担任腾讯游戏海外Tech Solution和数据科学负责人，负责搭建海外业务所需的大数据分析建模，负责海外用增长、精细化运营和用户画像建设，致力于游戏领域的机器学习、推荐系统、用户画像、GenAI 方向的研究和应用，打造业界领先的游戏领域通用数据挖掘平台。
【提问人】
袁晓辉 博士，腾讯研究院资深专家
一
袁晓辉：
如果我们将 ICT 行业中的服务领域（包括软件服务、计算机、IT 服务和互联网服务等），按照基础设施（计算、存储和网络等IT基础设施）、平台（操作系统、数据库和中间件等）和应用（各类应用软件）三个层次来划分，提供的服务分别对应 IaaS、PaaS 和 SaaS，你认为大模型技术的发展对三个层次的影响分别是什么？对哪个层次带来的影响更大？
今天大模型对IaaS和SaaS会有直接的冲击，PaaS层也会随着应用部署数量和复杂度的提升，涌现对应的机会。
IaaS层：大模型的性能进步是由GPU算力、数据和模型参数规模的 Scaling Law （规模法则）所推动的。过往 IaaS 市场需求主要集中在 CPU 算力和存储上，但随着大模型的训练和落地，GPU 算力的需求将会大幅提升，成为这一层的主要变量。
PaaS层：随着大模型应用从 GPT-Wrapper 走向更复杂的原生应用，从 demo 走向生产环境，单一模型已经很难满足开发者的需求。我们相信OpenAI等基础模型公司也将为他们的开发者提供原生的开发者工具，但就像云计算一样仍然有大量机会留给第三方厂商。目前开源社区已经出现了如 langchain 和 Lammaindex 等中间层应用，类比云厂商，OpenAI 等基础模型公司也将为他们的开发者提供原生的开发者工具。我们也很关注数据合成，AI safety，大规模并行加速等优化模型体验，拓展场景的方向。
SaaS层：未来每一个SaaS都将叠加AI的能力。在Rewind*，ChatGPT*等AI原生应用的赋能下，每一个个人都有机会成为10倍生产力的超级个体；而存量场景中如微软、Adobe*和Notion*等都在推动应用和AI的融合；在垂直场景拥有差异化存量数据的赛道，也将涌现Harvey*这样的垂直领域AI公司。
注：
Rewind: Rewind 是一款高度个性化的口袋人工智能，通过整合您手机上看到的、说过的或听到的所有内容，提供新水平的生产力。
ChatGPT: OpenAI提供的的人工智能应用，可以通过它进行有趣的对话、获取洞见、自动化任务。
Adobe: Adobe 是桌面出版软件的领先开发商，于1987年推出 Adobe Illustrator。
Notion: 一款将日常使用的工作应用程序融合在一起的工具，是适用于个人和团队的全能一体化工作空间。
Harvey: Harvey 为顶尖律师事务所定制构建了大型语言模型（LLMs），旨在解决每个实践领域、司法管辖区和法律系统中最复杂的法律挑战。
从近期我接触的客户情况来看，大模型对 SaaS 层的影响更大，尤其在数据处理和业务流程等方面，因为：
在 IaaS 层面，大模型对大型云服务商提出的要求主要体现在算力的要求上，现在普遍都是算力不够。
在 PaaS 层面，大模型的出现对于向量数据库等平台层的服务产生了新的需求，当然这一层的需求也主要来自于应用层的使用需求。如果说一家公司脱离了应用场景而直接去做 PaaS 层，现在来说还为时尚早，因为离实际的应用太远了。
如果类比云服务的发展历程我们会发现：云服务最早其实是从应用层开始的，然后才有中间层的需求，之后才是云服务的发展。
可能因为我在做 SaaS，我看到的是 SaaS 层面对我影响非常大，特别是在各行业的数据处理和业务流程重塑等方面，会创造出大量的机会，也会诞生非常多基于 AI 的服务型软件公司。
大语言模型本质上是一种软件，因此从软件角度看，它不会对 IaaS、PaaS、SaaS 三个层次产生根本性影响。然而，从应用的角度出发，这些模型确实会在各层次上产生一些“点状”影响。
IaaS层：大模型主要影响推理成本、硬件和算力需求。专门针对人工智能服务的 IaaS 将逐渐增多，这可能包括更多 GPU算力的综合解决方案。通过通讯网络实现分布式计算也成为可能，这意味着算力的分布将更加广泛。
PaaS层：大模型更像是一种工具。这可能涉及到向量数据库和服务接口等方面。这一层次可能还有构建 agent 的 PaaS 和编排中间件，也意味着 PaaS 将在结构上更加复杂。然而，基础设施本身不会发生根本性变化。
SaaS层：大模型将使服务更加丰富，特别是从业务导向的角度来看。这意味着 SaaS 层可能会提供更多针对特定需求或目的的智能化服务。
二
袁晓辉：
大模型的出现是否会对既有的云服务的生态格局带来比较大的影响，比如英伟达业投资了专门提供 GPU 算力的云厂商，是否会对既有格局带来冲击？
英伟达投资的CoreWeave*是专门提供GPU算力的云厂商，通过和英伟达的合作他们有稳定的H100供应链。据报道微软和明星基础模型创业公司Inflection*都是CoreWeave的大客户。而CoreWeave收入增长其实可以反映出IaaS层的一些变化。根据theinformation的报道，这家公司2022年的收入是在2000多万美金，今年虽然做了一些下调，但现在的预测收入仍然在5亿美金左右，相当于一年的时间就翻了20多倍。明年的预测也是在20多亿美金，而且大部分的算力都已经被预定，体现了市场对GPU算力的旺盛需求。
这家公司最初是一家区块链公司，主要的收入来自于购买英伟达显卡后在以太坊挖矿，后来也将富余的GPU算力租赁给其他区块链公司和 AI 公司。后来据传他们用 H100 显卡作为抵押获得了23亿美金的贷款，也将进一步放大他们在 GPU 算力上的供给能力。据报道，微软和明星基础模型创业公司 Inflection 都是 CoreWeave 的大客户。
今天整个行业都是算力供不应求的状态，CoreWeave 的预测毛利高达85%，只要你能拿到H100 的卡，就基本上能够把算力卖出去快速收回成本。 当下云厂商在纯算力市场上，还是有很多的竞争优势，比如采购算力的议价权，算力池化、任务调度上的技术积累，以及多地的节点能够形成云边一体的服务能力，都是现有云厂商更擅长的。
至于新玩家是不是有机会改变云计算行业的生态格局，很大程度上取决于大模型是否能在业务侧规模化落地，从而牵引用户云上数据的迁移。在之前的一些专家交流中，我们就了解到一些企业为了更好的使用 OpenAI 的 API 而迁移一部分的数据到 Azure，为了降低跨云传输的成本。
注：
CoreWeave：一家专业的云服务提供商，提供按需的大规模 GPU 加速计算资源。
Inflection：一个人工智能工作室，致力于为每个人创造个性化的人工智能。
三
袁晓辉：
SaaS 我更多从 Chatbot 的角度来分析，大模型出现前后给自然语言处理带来的影响。
AI 过去很难在 SaaS 层面真正落地，一是因为技术的 timing 没到，因为之前的准确度不够，AI 还不够智能，而且那个时候的 AI 主要是处理各种分类的场景，所以 AI 主要是会在计算机视觉领域（CV）发展得很好，但是因为没有特别强的推理能力，只用分类在 NLP 领域就没有特别大的突破和进展；
二是因为当时 AI 需要依赖大量的人工标注，如果做聊天机器人就要求一方面企业客户需要有很多 FAQ，但大部分企业其实都没有；另一方面还需要针对问题做大量的相似问，也就是针对同一个回答需要准备大量相似的提问方式，这就要求企业中有大量的业务同学来配合，这对企业来说又是一道成本。
所以当时要真正从企业角度落地就很难，因为这需要改变业务流或者工作流，还需要大量业务同学持续不断地输入，因此是比较难推动的。
而当大模型出现之后，一方面我们有了准确率更高的交互界面，另一方面虽然依然需要问答对，但数量远远不像原来那么多，成本自然被大大降低了。而且输入数据的方式也更加多元和便捷，比如可以是一本书，可以是 SKU 的大表格，也可以是一堆文档，这些都可以通过学习答案的方式来生成问答对。
在 ChatGPT 出现之前，技术上有个方案是 RAG（Retrieval-Augmented Generation），也就是检索增强生成，它核心解决的问题就是在大量的文档中检索内容，拼成 prompt 然后再用大模型生成。而现在 ChatGPT 的出现让整个反馈都变得更准确了，可以理解为是用大模型加一些工程方面的手段，实现了一个外挂知识库。比如我们就有一些客户直接把聊天记录导入就复制了一个“最佳销售”，并能够应用于营销和服务的各个环节。
不管有没有AI加持，中小型的 SaaS 企业总是在不断创新的。北美过去几年不断涌现的 SaaS 公司证明了这一点。有了 AI 的加持，创新机制会更丰富。
但值得关注的是，其中有一些可能只是阶段性的机会，会随着基础模型的发展被淹没。以Jasper.ai*和Copy.ai*为例，他们以copywriting（文案写作）为核心能力，在ChatGPT发布前是GPT3 API的最佳示范案例。但随着新技术模型的出现，这些公司的价值将会受到很大的挑战甚至归零。
随着 OpenAI 等基础模型公司能力的发展，我们看到在 ChatGPT Pro 账号里集成 DALL·E 3，GPT4V，Voice的能力而且开放了对应的API，一方面会有一批曾经明星的AI企业的生存受到挑战；另一面更强大的API能力，定制化以及可控度更高的语言模型，也将让开发者和 SaaS 企业有机会构建出更为复杂、稳定的应用。
注：
Jasper.ai：提供企业级人工智能工具，帮助营销团队同时实现速度和性能的提升。
Copy.ai：是一款由人工智能驱动的文案创作工具，能为您的企业生成高质量的文案内容。
四
袁晓辉：
大模型只能解决业务上的问题，商业困境不是在技术本身，本质上还是商业模式和生态的问题。大模型一方面可以帮助去解决一些单点的或效率提升的问题，这个并不能改变商业模式的本质；另一方面可以完成原来不能完成的任务，这一点上可能会带出一些新的由AI Native驱动的商业模式。所以大模型跟 SaaS 生态的改变没有直接的关系，但肯定会出现一些全新的商业模式。但是否能给 SaaS 行业带来突破就不好说了。
我们先聊聊中国 SaaS 的困境：
大家为什么都说在中国做生意卷呢？因为中国人口数量多且人力成本低，因为摆脱贫穷不久且商业素质整体偏低，所以大家会喜欢非流程化的东西，比如“老板一句话搞定”。但是 SaaS 本身要求的是你要流程化，你要按照我的最佳实践来学习，不到万不得已，大部分公司并不喜欢接受外部的东西来改变当前的流程。因为有这些客观的背景，所以导致 SaaS 行业大家会觉得比较难，但其实行业也没有那么糟糕。
我们说困境也好，机会也好，其实更多是资本和媒体外部视角的看法。前几年资本炒的特别火热，资本说 SaaS 非常好，然后给了 SaaS 很高的估值，给了一堆理由证明 SaaS 好。几年下来现在资本没有看到很好的退出路径，也没有得到特别好的回报，所以他们说 SaaS 是一个困境，也给了一堆理由证明 SaaS 不好。但其实这个行业这些年没有特别大变化，市场是一直有的，问题也是一直有的，机会也是一直有的。SaaS 公司不是不值钱，而是可能不值那么多钱，估值过高就会导致大家有很高的期待，期待就会带来失望，但不能因为期待高但是没有满足就说 SaaS 没有价值。我觉得需要一些理性的客观判断在里面。
作为一个 SaaS 的从业者来讲，我对这个行业还是非常看好的，因为 SaaS 本身是积累了一个行业的最佳实践然后通过产品化复制给其他同类公司的一个过程，是生产力的极大提升。SaaS 是从软件一步一步发展起来的，在没有最佳实践之前，一定是项目，然后通过项目去积累最佳实践。
为什么有些公司沦为高科技施工队，是因为客户定义错了。如果你定义所有的客户，那么你一定没办法给出一个标准化解决方案。但是如果你定义的是一类客户，然后在实践的过程中抽象出最佳实践，是可以给出标准化解决方案的。但是即使这样其实还会遇到问题，因为每个大客户在最佳实践的基础上还有自己的想法，这个时候要看企业的开放度，有的公司就说那所有都我自己做，都吃下来，合同额会很大，但是对应的结果就又定制很多了，那有些公司会说我有 API，定制的部分拿出来，让大客户自己来做定制或者独立出去做，但这样合同额会相对比较低。这都是不同的选择。
我们公司是不做项目的，SaaS 做的也是标准化的产品，而且我们做的都是头部客户，每个行业在做解决方案，包括政务金融比如国家电网、中国人保等，再比如消费行业比如欧莱雅、元气森林、泡泡玛特等。我们做了头部客户且不是项目施工队，原因是因为做了行业解决方案且开放了几百个 API 和 SDK。
所以高科技施工队本质上我觉得是一个发展阶段以及一个定位的问题。
大模型的出现一定会让施工队这件事有缓解，从两个维度：
1. 前面我说很多公司不喜欢被流程管理，本质原因是因为要学习 SaaS 的交互，所有业务逻辑我要按照你 SaaS 设计者的逻辑来，因此不好落地。换位想象一下，如果所有的交互变成自然语言的交互方式呢？ 比如我要创建一个任务，原来在 SaaS 产品上要点击 60 次才能完成，现在我一句话就能完成，这个一定会有助于 SaaS 的落地的。
2. 第二个维度就是大模型的出现本身加速了施工队的工作，高科技施工队里面的基础增删改查的代码是可以让大模型做的。这个效率的提升是非常大的。
我们句子互动聚焦的是营销服务场景，为消费品和互联网行业的客户提供私域营销方法论和解决方案。因为营销场景很大，我们要切客户的哪块预算才能帮助企业增效呢？最开始我们做的是流程化，通过 RPA 去帮助企业提效，把重复劳动替换掉；然后我们增加了智能化，最开始落地在聊天机器人，帮企业提供各种数字员工，通过智能化的方式进一步提效；在然后是 AI 重塑工作流，也就是让客户原来的工作流程体系逐渐被 AI 替代，我们判断这方面的机会可能更大。
当然这些都是要分步骤有节奏去走的，但我任务核心还是产品和商业的逻辑，跟是不是有 AI 关系没有那么大。
我们需要认识到：AI 不是救命稻草，也不是银弹，AI 需要与现有业务和流程紧密结合，无论是技术还是业务都需要不断地迭代和优化，才能真正实现 AI 在各个行业的广泛应用。
杜頔康：
首先中国仍然有很多优秀的企业服务软件公司能够通过标准化的产品获得快速增长和利润，而需要重度实施交付的高科技施工队，也分赚钱和不赚钱的。在泡沫市场中，很多企业为了整体的营收规模甚至会亏钱做项目，现在看起来是错误的。目前的市场环境需要企业服务公司更多做减法，聚焦到真正创造价值收益的业务，不要大家一起卷价格和负毛利的交付，才能让整个市场回到一个良性的状态。
大语言模型对 SaaS 的发展会带来增量市场。以 OpenAI 为例，报道中13亿美金 ARR，其中超过半数是企业调用 API 的费用，而这些企业也需要对外提供 AI 服务，这是一个明确的增量市场。短期内大客户为了 AI 供应链的稳定，会愿意多尝试，给创业公司机会。但是长期来看，还是要回归是否为客户创造了新的实际价值，客户不会因为新的概念就额外增加大量预算，尤其是今天大语言模型幻觉和黑盒的问题，让很多企业客户慎重决策将 GenAI 引入核心业务流程，未来中国的企业服务市场，仍然是属于站在客户身边真正从客户视角提供服务而不是包装概念的公司。
五
AI Native的企业是那些充分利用大模型的能力，没有大模型就做不了，或者没有大模型成本会非常高的企业。
以 Character.ai *为例，他是提供了一个角色跟你聊天，但同时也在积累你说话方式的数据。当一年之后，大模型已经完全了解你的说话方式和风格，那是不是如果你不在了，我可以训练一个模型来替代你？这个场景用在你的亲人身上，或者一些伟大的思想家、物理学家，当他们去世之后，通过尽可能多的数据收集，让他们继续活在数字空间里。数字空间永生可能不能100%模仿，但如果能够模仿50%、70%，是不是也是一种原来做不了，有了大模型以后能够提供的一种服务？这会是个可能性。
这些 AI 原生的企业会越来越多，因为成本足够低，可能性空间会很大。比如妙鸭做照片的、还有做视频的、数字人。甚至是建个城市模型，可以迅速生成，可以任意组装和探索，戴上 VR 头显，就能看到很多可能性的空间。以前这种产品成本很高，有了 AI 能力之后，成本变低，很多人其实喜欢去这些地方看看，玩的人多了，就变成了元宇宙。所以 AI 的能力会极大降低元宇宙的成本，同时大大扩展了范畴。类似这种单点的东西，我觉得一定会有很多。
大模型目前在 ICT 领域的应用主要以 C 端为主，B 端也会有。B 端主要还是聊天机器人，大量企业都是有 call center（电话客服中心） 的，需要 chat bot（聊天机器人）；另外还有一些开发工具，包括生成代码，以 Copilot 为首，以编程提效和测试提效为主。生成的代码质量方面，从从无到有的角度来看很惊艳，真正使用还差点火候，但很快会变得很好用。
今天的 AI Native 企业还在非常早期的阶段，特点是通过 AI 为一些场景提供更个性化，低成本的供给。妙鸭相机，它并没有去创造一个新的需求，而是在满足一个存量的人像摄影的需求；而 Character.ai 可以和一些二次元角色进行角色扮演，AI 陪伴的这个初心最早 Amazon 的 Alexa 已经进行过尝试，而从内容消费视角，对话式小说也有创业公司尝试过。这两个产品的出圈，是因为洞察到模型达到了体验的临界点，所以有机会成为定义新品类的产品。
今天的互联网大家理解更多是生产和消费的链接，人和人的链接。通过新的 AI 供给重塑互联网，目前比较明确的热点在于内容行业，特点是生产和消费都在线上可以完成，比如Character.ai，Artifact *和 Pika* 就是探索 GenAI 时代的内容平台，提供了一种创造即消费，主被动一体的新体验。人和人的链接上，Character.ai 新提供的 Group Chat 以及 Can of Soup，Befake 这类产品，都是希望以新内容来创造社群，仍在非常早期的探索阶段。电商或者O2O 等需要商品或者人来供给的领域，目前看起来更大概率是存量玩家的机会。
AI Native 还有一个特点是迭代和进化太快了，随着更多的 AI Agent 引入互联网，不断涌现的新的 AI 硬件，我们相信会有更多新的机会出来，也会有 DAU（Daily Active User，每日活跃用户数），ARPU（Average Revenue Per User，单用户平均收入）以外的新指标来衡量 AI Native 公司的价值。
注：
Artifact：使用AI了解用户的兴趣，并通过最重要的信息和灵感更新文章和内容。
Pika：让用户能将知识库转化为聊天形式，创建和嵌入定制的人工智能助手等。
最本质的差别还是在于团队，不管是 AI Native，还是 SaaS+AI，都要看团队的积累。
AI Native 做 To B 基本不太可能，因为 To B 行业水很深，需要对业务的理解和持续的积累，做 To B 的团队是懂行业客户的业务转化链路的。当然 AI Native 的团队也可以从头学，但团队是否有意愿去学（因为这里面其实很脏很苦的），或者什么时候能学会，可能也都是未知数。
AI Native 做 To C 方向是可以的，因为业务流早期相对简单，主要是基于冲动体验，只要把体验链路做短就可以，比如通过做品牌，做投放，做增长等方式。但是如何能持续是一个问题，比如今天我们看到妙鸭相机很像之前的视频忽然有一个 Faceu 激萌很火，但是后面如何能持火，持续创造价值是一个未知数。
如果是原来纯 SaaS 的团队，没有 AI 的基因，也很难把业务做好，因为思维方式是不太一样的，不是纯加上 AI 就是 AI SaaS 了，你的交付是不是从 AI Native 的角度去思考是很不一样的，比如 Prompt 的撰写和程序的流程化是很不一样的，大模型你要承认他有随机性，在随机性的基础上怎么做出确定性的产品以及生成的内容什么是好什么是坏，都这些都是在大模型时代有一些变化的。另外对于传统 SaaS 来讲，AI 模式的变化会带来对既有业务的变革，对原有团队会有很大影响，甚至很多团队都会被裁撤，所以也会有一定的阻力和惯性。
比较好的方式还是 AI Native 的团队，加上非常长的行业积累，再加上比较强的业务积累。所以这肯定不是 AI Native 就能简单颠覆的事情，但也不是一个 SaaS 加个 AI 的事。但是可以肯定的是，它一定会对重塑接下来的互联网生态。
六
袁晓辉：
ICT 行业已有哪些利用大模型提供服务的场景？是否有看到的新兴的商业模式？在 B端的应用会不会迅速铺开？
已有的场景就是比较经典的商业客服场景，也是今天数字员工的前身。依靠机器推荐和人机协作可以极大降低客服的成本；而在一些纯 IP 或陪伴的场景，可以直接面向 C 端用户。具体体现在：
（1）机器推荐：每一条消息都是机器给人工客服推荐3条，人工客服再选择1条最佳消息来回答用户；
（2）人机协作：先是机器直接回答，回答不了的再由机器转接人工客服。目前看可能80%都可以是机器回答，这极大降低了人工成本，而且很多时候机器的回答质量要比人好，比如很多售前转化和售后服务的效果会比人更好；
（3）机器直接面对 C 端：纯 IP 场景或陪伴场景，明星数字分身，跟用户聊天；还有给特定组织做的对话机器人，例如 QiGPT*；JuziGPT*等。
基于数字员工一定会有新兴的商业模式，比如如果机器人足够智能以后，他是可以直接做销售的，我们正在落地的就是给一个健康品牌做了数字营养师，消费者可以问健康问题，然后数字营养师解决问题之后也会推荐这个品牌的产品，在有了信任的基础上再推荐消费者一定更信任。
在大模型出现之前，人类历史上从来没有一种能力能让企业可以和每个用户场景性的，千人千面的有温度的进行沟通，今天这个事情成为可能，那消费者可能会逐渐开始信任一个数字销售，是不是就不用去在线商城购物了，后面整个用户购买产品的链路可能都会发生变化，
但是我认为所有的变化都是循序渐进的，尤其 B 端业务，不可能出现一个迅速铺开，但是保持耐心，我们会逐渐看到变化的。
注：
QiGPT：句子互动给奇绩创坛做的对话机器人
JuziGPT：句子互动内部做的对话机器人
目前商业模式和服务方式很多元：第一种模式是 Pro 账号订阅制，ChatGPT 是20美金一个月，Midjourney* 和 Characte.ai 也是同样的模式；第二种是用户使用 API 根据用量付费，比如 Elevenlabs*，OpenAI 都有对应的服务，而一些视频图像生成类的产品比如 Runway*，Heygen* 超出包月限制后也是按照使用量来付费；第三种是按效果付费，比如有一些数字人的直播，AI 辅助的 MCN，如果有很好的转化效果将有机会按照 GMV 来抽成；当然还有经久不衰的免费+广告的模式。B端的产品中 Copilot 能力往往作为一项新的 feature 来进行收费。
除此之外，还有一些模式在探索阶段，比如海外产品 Talkie 是把游戏中的商业模式融合进来，你可能会在对话中拥有一些喜爱的虚拟角色，可以通过抽卡和分支剧情来让用户获得个性化的游戏资产，从而消费充值，这个模式在原生或者恋与制作人等游戏中已经充分验证，但是在新场景的复制还有待观察。
对于创业公司而言，组合不同的商业模式可以避免定价上和基础模型公司的直接比较。行业还处于早期阶段，商业模式上仍然有很多创新的空间。
注：
Midjourney：是一个由AI驱动的艺术作品生成工具。
Elevenlabs：利用语音克隆技术允许用户创建听起来像真人的数字语音。
Runway：帮助用户生成视频，并提供从 视频编辑到高级后期处理的服务。
Heygen：是一个创新的视频平台，利用生成式AI的力量来简化用户的视频创作过程。
七
袁晓辉：
ICT 领域做行业大模型服务沉淀的能力是什么？从 POC（Proof of Concept，概念验证）到项目落地，哪个阶段是有难度和门槛的？
技术不是门槛，每个环节大家可能都能做，但是否能组装起来并完成客户的需求，这方面是存在挑战的。
举个例子，现在行业都会用 RAG 的方法做专属知识库，简单说就是用外挂数据库检索内容，然后拼 Prompt 给大模型生成，在这个基础上再产品化，做可视化的界面。但在实际客户服务的过程中，你会发现这比想象中要复杂。
比如数字医生的场景，客户的数据量比想象的多，数据的复杂度也更高。所以该怎么做文件切割，用什么规则做文件切割都是需要面对的问题。因为大模型有 token 数的限制，GPT-3.5 是 16k，GPT-4 是 32k（最新是128k），所以就需要做 token 的分布，比如多少给到 prompt（问题），多少给到 completion（答案），prompt 里的 token 该如何分配？再比如多少给聊天记录，多少给检索到的内容，多少给默认的系统信息？以及什么时候用 3.5什么时候用 4 甚至什么时候切换其他的模型，这是需要编排的。
进一步来说，包括外部的数据如何做切割，混乱的数据如何做清洗和转化，甚至如何收集数据对很多公司都是问题，以及检索的内容可以有很多，但返回的用户信息是有限的，那么如何把内容筛出来并更精准的放进去？同时因为这些内容反过来又会依赖于数据，这导致数据又要重新梳理。
如果要做所有数据的生成，又会发现结果可能不太准确，因为 Embedding 有的时候远远不如关键词匹配的效果。那怎么让它们配合起来以达到更好的效果？因为检索是根据语义的，所以有的时候会根据问题有一些权重的差异，那么如何在搜索的时候把最相关的放进去？可能要再挂一套意图识别，不同意图再外挂一套数据库，最后可能会呈现一个树状结构。
这里面还会遇到一个问题，大模型中的幻觉问题怎么解决，如何让它自己发现幻觉？最开始大家说可以用 COT，TOT，GOT，还有比如说 React，Multi-agents 等来减少幻觉。
当然我说的都是工程的细节，这些工程的细节问题其实都是在不停调优的过程中发现的。所以搭建技术和平台是很小的一部分工作，大量的工作在于：
第一步是数据的处理，数据处理的时间是很多的，你要写大量的脚本处理数据、分析数据，包括客户培训和教育，告诉客户如何搭建知识体系；
第二步是分析和调优，我们的系统会有一个调优中心，刚刚我说的所有问题都是调优中心发现的，机器人不同的反应都需要系统做分析，而大模型本身是不能做分析的。但大模型可以对输入输出的结果做分析、做调优，这就是对话系统的运营迭代；
第三步是写 prompt，第四步才是系统搭建，整个过程都需要带着技术的 sense 去做交互。未来随着技术的发展这些步骤会逐渐改善，但现在如果想做一个智能的 Bot，确实需要这些动作。
目前很多大模型厂商认为只要用类似 Langchain 搭一个向量数据库就可以使用了，其实并不是这样的。所以我们也会跟一些大模型厂商有很多合作，去推进应用的落地。
很多东西其实只有在交付的过程中你才能真正知道。
OpenAI 的 Sam Altman 曾经说过一句话：“GPT-4 并没有什么黑科技，都是一些 Small win 积累下来的进步。每天迭代一点点，每天改进一点点。”我认为这些 Small win 的集合可能才是创新的本质，SaaS 还是很拼耐心的一件事，只要你在一个领域时间足够久，就一定会有很多积累，也会积累出客户对你的信任，他们后面也会持续跟你合作。
八
袁晓辉：
Copilot服务上线后，极大提升了程序员的工作效率，同时可能会减少软件企业对程序员的需求？您如何看待这一趋势，这样发展下去会有哪些可能？
在开发软件的需求总量不增加的情况下，目前最后一公里的任务确实可以用GPT来完成，从这个角度来讲，人会变少；但开发软件的需求是会膨胀的，所以对程序员的需求还是会增长，但增长的速度可能没有原来那么快。这其中高级工程师还是稀缺资源。ICT 行业之前很多公司都是靠外包，把需求和设计聊清楚，代码交给别人。这些原来可以交给别人去做的工作，后面可能都可以通过大语言模型来做。
程序员的价值主要体现在架构设计、需求理解和需求分析。甚至未来在很多低代码应用普及的背景下，产品经理也有了开发应用的机会，如果能把需求描述得非常清楚，能让机器理解，不需要程序员也能开发出应用。
当下还有一种说法是”软件生成，用完即走“，就是当用户有需求时，可以借助 AI 生成一个软件，类似 Serveless 方式，用完就销毁，但数据会保留，然后这个软件就完全扔掉。这个模式可能会是个新物种，对 SaaS 有很大冲击，会带来很大的颠覆。不过这里也存在一些问题，比如数据和历史信息要不要保存，用户之前的需求要不要保存，相似的需求是否要复用。
本质上讲，我们今天很多的服务，都是一种针对共性的需求提供了软件解决方案，未来当生成一个软件的成本变得非常低的时候，是不是还会需要今天的这种模式？当然，可能也有一些人讲不清楚自己的需求，那他其实可以参考甚至购买别人讲明白的需求，比如有人会写 prompt，于是出现了 flowGPT*这样的平台，可以看到别人写的 prompt。
再回到对程序员的需求。我们今天说对高水平的程序员需求依然存在，什么是高水平呢？就是一个程序员在写了几年代码之后，可以开始做一些设计和架构的事情。那么未来的程序员培养，能否不通过编程学习直接跳到设计和架构环节呢？其实在计算机发展历史上已经发生过类似的事，以前程序员学的是汇编语言，现在大家都用 python 来完成很多任务。在这种情况下，程序员是否还要去学更基础的汇编语言呢？类似的，有了大模型后，大家需要解决问题的维度变了，不再需要做重复性的编码工作，所以人们还会随着基础设施的供给而改变发挥价值的维度。在未来，需求理解、需求拆分、架构设计，才是需要人发挥价值的地方。写代码，写测试这些完全交给 AI 就好。
注：
flowGPT：是一个大型语言模型（LLM）提示词（prompt）平台，允许任何人探索、使用并在不同的 LLMs 之间分享提示词（prompt）。
九
袁晓辉：
大模型目前对数据分析的工作还没有明显的替代，因为我们的日常工作还是以解决问题为驱动的，而这些问题往往很复杂，往往需要结合对业务的理解来展开分析，大模型暂时还做不到。从目前大模型对数据分析日常工作的辅助来看，比较适合想法的产生。比如我们给以简单的指令，可以协助进行数据探索EDA，数据清洗，scala 的流程，而且要做 quality check（质量检查），上线活动也是比较关键的。线上生产环境不太能用，还是比较适合发现问题，诊断问题。
替代就业的问题是行业大趋势，不只是数据分析，简单脑力活、体力活的工种都会慢慢消失。Google 可能也会提供一些工具，一旦被整合，会减少很多技术含量比较低的工作，需要一些时间，实现更好的工具化和自动化。
十
袁晓辉：
从 SaaS 软件即服务，到 MaaS 模型即服务，这里讲的服务软件、模型，其实都是一种形式，本质上，人们需要的是一套解决方案。软件时代，大家需要的是软件作为一套解决方案来帮助解决问题；那么在大模型时代，大家本质上需要的是算力，是算力基础上的智力，来帮助解决问题。那有没有可能在大模型时代，智力即服务（Intelligence as a Service），会是更本质的提法？
新的名词推动新科技普及，但确实也需要对抽象的科技概念封装成产品才能向客户收费，而新的概念也有机会创造新的预算。Model-as-a-Service是一个很符合直觉的说法，类似IaaS、PaaS和SaaS。
如果要定义Intelligence-as-a-Service，我的理解是Artificial Intelligence只是Intelligence的一个部分，今天的Intelligence-as-a-Service，在部分AI能力无法端到端交付的时候，需要结合一部分人的智力。可以引入一个人机比的概念，比如今天的律所给客户交付的就是Intelligence-as-a-Service，按照时长，效果付费，不过其中human intelligence（人的智能）占到90%，artificial intelligence（人工智能）占10%，未来这个比例肯定会不断优化，当这个比例突破到一个临界点的时候，将会产生全新的组织形态和商业模式。
本文作者：袁晓辉 博士、腾讯研究院资深专家
更多精彩内容
欢迎搜索关注微信公众号
腾讯研究院
