AI 无疑是今年编程开发行业最激动人心的话题。大模型的迅速崛起让行业看到了新的市场机遇,而基于大模型技术的 AI 辅助编程工具已经初步展现出了颠覆开发工作流的潜力。企业和开发者意识到,人工智能技术将很快重塑每一个软件领域,通过自然语言交互和强大的推理能力创造全新的用户体验。
AI 和云原生是相辅相成、不可分割的。由于巨大的存储和算力需求,大部分 AI 应用都需要云端支持,大模型应用更是如此。如果说过去几年云原生已经在相当程度上影响了软件产业,大模型热潮更是意味着云原生已经成为开发者的标准选项。在云端开发、部署、运营 AI 应用很快将成为每一位开发者的标准技能和工作流。历经 PC 和移动互联网变革后,软件产业又站在了新的历史转折点。
在这一技术转型时刻,开发者的心态普遍是激动而又迷惘的:该如何充分把握当下的技术变革机遇?如何利用大模型和云原生开发提升自己的开发效率,并改善应用的用户体验?如何将现有开发流程顺畅转向 AI+ 云原生的新范式?要回答这些问题,仅靠程序员自己的思考总结远远不够,需要行业共同努力来探索解决方案。11 月 2 日,阿里云和 InfoQ 联合举办了云栖大会特别节目《云栖“码”上聊》,围绕 AI 开发、云原生开发和 AI 时代的数据平台变革展开讨论,并向开发者介绍阿里云在这些领域的最新成果与见解。InfoQ 将本期节目整理成文,以飨读者。
生成式 AI 崛起,编程开发将迎来怎样的变革?
当今依托大规模人工智能模型的应用正在全面开花,每一个行业都在尝试将大模型融入现有应用,改变传统的交互模式,创造全新的用户价值和体验。对于企业与开发者而言,当务之急是找到能够快速利用大模型能力,同时又能与传统的开发工作流无缝兼容的开发方法,才能站在潮流前端,快速抓住市场机遇,开拓生成式 AI 应用这一片蓝海。
目前,尝试运用大模型构建软件解决方案的开发者主要分为两大类别。第一类是比较熟悉机器学习技术,有能力自行训练、微调和部署大模型的专业开发人员。对于他们而言,当下面临的主要挑战是硬件基础设施的算力难题。训练一个 GPT3.5 级别的大模型,一般需要数千张 GPU 的集群运行两个月左右的时间。开发者需要尽可能优化集群的互联效率,减少每张 GPU 等待数据传输和同步的空闲时间;训练期间还会频繁出现某个迭代数据出错的困境,需要开发人员手动回滚、检查和对齐数据。这些困难往往占用了开发者的大部分精力,也提高了模型的训练成本和周期。
面对这一困境,阿里云给出的答案是名为 PAI(Platform of Artificial Intelligence)灵骏的大模型训练平台。该平台具有以下优势:
-
PAI 灵骏带来了 7.0 版本的 PAI 网络架构,将点对点传输带宽提升到了 3.2TBps,同时利用 RDMA 方式降低传输延迟。
-
灵骏推出了 TorchAcc 分布式训练框架,将程序分布式运算的复杂细节完全隐藏在后端,大大减轻了前端开发者的优化负担。
-
灵骏通过快速回滚、冗余硬件和分钟级 Chekpoint 的方式,大幅提升了集群的自愈能力,解决了大模型训练和推理时频繁出现的错误和数据恢复挑战。
开发者在灵骏平台上训练模型时,平台会完全接管网络优化、分布式计算优化和错误修复的工作,不仅能有效提升每一张 GPU 的实际利用率,还让开发者可以空出时间来做其他工作,效率大大提升。更为重要的是,灵骏并不需要开发者在训练自己的大模型之前专门学习和研究训练底层设施的各项细节,这让更多开发团队和企业可以更快地进入这一领域,提早创作出为特定业务领域优化的行业模型产品。
另一大类开发者则更多来自非技术背景的领域,例如艺术设计师、业务人员、科研人员、媒体工作者等等。基于大模型技术发展而来的 AIGC 产业正是他们活跃的舞台。他们在自己所属的行业中已经积累了丰富的素材、作品和经验,希望能通过大模型迅速利用这些资产,构建自己的专属知识库,为今后的工作构建高效率的智能助手。例如,建筑设计师会希望大模型收集自己的作品和素材数据后,能够根据提示自动生成符合自己风格的新作品参考,自媒体作者想要构建专属知识库,在创作新内容时快速调用以往的内容积累,等等。
这类开发者普遍没有编程经验,或者对代码并不在行。他们更希望能够通过简单的模块编排来实现自己想要的业务逻辑,并不关心背后的模型细节。对此,PAI 集成了很多备受好评的行业和领域模型并通过线上服务和 API 的方式将这些具体的能力提供出来,甚至按照场景封装成低代码的模版,使得这些人员也能参与到大模型能力开发工作中。PAI 还发布了能够一站式集成了热门的 AIGC 模型与配套的工具箱,使设计师能够迅速上手 AIGC 创作。在娱乐、服装、建筑、工艺美术行业,都有客户开始使用 PAI 平台的 AIGC 能力来创作商业作品。例如,有客户就将紫砂壶工艺品过去几个世纪的图样输入 PAI 平台进行精细整理和打标,最后训练出了一个行业模型来生成紫砂壶的全新设计图案。
值得注意的是,PAI 平台本身就是构建在阿里云的云原生体系上的,与阿里云 Serverless 云原生架构紧密结合。换句话说,想要用好 PAI,就要适应基于云原生 Serverless 的开发新范式,替换传统的,基于本地的开发工作流。另一方面,阿里云也在持续改进 Serverless 开发平台,为开发者带来更加便捷、低成本、高效率的开发体验。
全面 Serverless 再进一步,云原生开发迈向新台阶
回顾编程开发行业数十年的发展,从机器代码到汇编语言,再到高级语言甚至低代码工具,开发人员手上的工具越来越强大,程序员需要掌握的代码专业知识也愈加轻量化。进入云原生和 AI 时代,编程范式又迎来了下一次迭代,这就是被阿里云成为流程式开发的创新模式。
从应用视角来看,业务逻辑本质上都是一种业务流程,流程是逻辑的自然表现。应用的本质都是获取输入,经过处理产生输出,而各种数据从输入端到输出端的整个过程理应与业务需求相适应。应用架构并非无源之水,其设计和实现最终都应以完成业务目标为宗旨。因此,理想的应用开发流程应该与业务流程对应,使开发人员和业务人员都能清晰地把握应用与业务的各个环节之间的关系,并根据业务变化快速调整应用实现。
基于业务流程开发应用,就需要应用的各个部分高度解耦,以模块化的形式组装起来。但软件行业传统的单体式架构很难做到这一点,开发人员在实践中往往会陷入代码库愈加混乱无序的困境,造成软件难以维护更新的问题。而如今,基于云原生 Serverless 的全新开发范式解决了这一难题。Serverless 化的云服务不仅向开发者提供资源,其本身也成为了构建应用各个部分的功能模块。将 Serverless 云服务的原子化构建能力按照业务流程的表现形式组合起来,就可以实现与业务流程完美对应的全新应用架构。基于这种理念的开发方法论,就是阿里云提出的流程式开发范式。它具有以下特征:
-
模块化,应用的各个部分是原子化的,高度解耦的能力,均可复用、组合;
-
自动化,阿里云提供了一系列配套工具来降低应用构建的复杂度,使得应用的部署和运维高度自动化;
-
智能化,流程编排、模块组合、代码编写等工作均可以通过阿里云提供的 AI 能力来理解和推荐,进一步减轻开发人员的负担;
-
可视化,业务流程可以通过可视化界面清晰展示出来。
基于流程式开发的理念,阿里云一方面将整个产品体系 Serverless 化,另一方面推出了云工作流这款新产品,使开发者可以自由、智能地编排云端的数百款服务,甚至第三方的 SaaS 服务,从而构建原子化的应用。
流程式开发的优势是非常明显的。与传统的开发范式相比,流程式开发通过 Serverless 服务隐藏了大量后端技术复杂性,使开发人员无需再关注底层基础设施的细节,将精力集中在优化业务逻辑、开发创新体验上。与此同时,Serverless 底层的极致弹性伸缩能力大幅提升了业务的稳定性,使得应用可以轻松应对流量峰谷变化,同时将运维成本控制在最低水平。
流程式开发范式对于两类企业和开发者助益最为明显。一类是创业型,或者业务在高速增长的企业,他们可以利用 Serverless 流程式开发快速应对市场需求变化,开发团队专注于产品自身的功能迭代;另一类是缺乏强大技术团队,却又想要跟上技术更新步伐的传统行业企业,阿里云专门为他们打造了 ACE Serverless 应用引擎,使存量应用可以快速容器化,享受免运维红利。
大模型热潮来临后,越来越多的企业希望尽快通过大模型的能力提升企业应用、服务的竞争力,或者在 AIGC 领域寻求新的增长机会。流程式开发的全新范式就与他们的需求和现状完美契合。阿里云将一系列 AI 产品和服务都通过 Serverless 的方式封装成原子化工具,企业和开发团队只需遵循流程开发范式来组合这些服务,就能快速生成针对自身所处行业和领域的 AI 产品应用,也无需操心应用运营时底层复杂的技术需求。流程式开发的可视化能力还让开发团队可以清楚地看到 AI 服务是如何与现有应用集成的,AI 能力在哪些位置提升了用户体验,从而更好地优化产品架构,充分发挥大模型和 AIGC 的价值和潜力。
流程式开发也进一步降低了编程开发的门槛。Serverless 云服务与基于大模型的自然语言交互界面组合,可以让完全没有编程知识的外行人像搭积木一样搭建出自己想要的应用。企业和开发团队不再需要很多非常专业的技术人员,每个部门的员工都可以使用云端开发平台随时构建应用,提升自己的工作效率或者满足客户的需求。在 AI 和 Serverless 技术的协同下,编程开发开始从专业走向大众,一个全民开发、全民创作应用的时代即将到来。
云原生时代的数据库变革,映出阿里云的雄心与探索
在 AI 大模型与 Serverless 流程式开发崛起的背景下,数据,尤其是云端数据的重要性更加凸显。今天的应用愈加依赖多种类型的数据,数据的规模和利用效率直接影响开发效率、用户体验与企业竞争力。以前文提到的紫砂壶设计模型为例,用户需要为模型准备大量紫砂壶的 3D 建模、2D 图案素材,结合人工标签中的历史和文化背景信息,才能按照提示词生成符合需求的紫砂壶新设计图样。如何在云端处理好这些多模态的数据,保障数据稳定、可靠、安全的同时无缝对接 AI 平台与 Serverless 开发平台,就成为了数据库与数据平台在新时代面临的最大挑战。
开发者在云原生和 AI 时代需要怎样的数据平台?首先,这样的平台必须能够处理结构和非结构化数据,能够一站式应对包括代码、文本、图片、音视频在内的多种模态数据,才能满足 AI 应用种类繁多的训练数据需求。其次,传统的数据库需要高度专业的运维人员来操作使用,而随着全民开发的趋势成型,新一代数据平台也必须降低使用门槛,同时加强自动化能力,使团队只需掌握少量核心知识,投入少量资源就能顺利完成数据平台的运维任务。归根结底,开发者需要真正智能、好用,可以扮演数据助手角色的平台,而这也正是阿里云认可和努力的方向。
如今,阿里云数据平台的核心产品全面介入了向量引擎,包括阿里云自研和开源生态的向量引擎。由此以来,数据平台就具备了大规模向量检索和管理、处理能力。其次,阿里云的数据管理开发平台 DMS 对接了大模型能力并开发了 DMS 的 DataCopilot 工具。该工具具备自动化 NL to SQL、SQL to NL、SQL 优化和纠错、通过 table 输出 BI 报表等功能。最后,阿里云开发了 Database Autonomy Service,结合大模型来优化数据库的运维管理工作,使数据库具备了自运维、自感知、自决策能力。
结合上述三大关键特性,阿里云的智能数仓 ADB、多模数据平台 Lindorm 等核心产品都对接了文档 Tracking、Embedding、私有知识库构建等生成式 AI 解决方案。通过这样的智能化升级,阿里云的数据平台在 DIKW 模型中的数据能力基础上,又获得了 IKW 层面的更高级别功能。例如,多模态数据库 Lindorm 就实现了数据的智能管理和检索,为 50% 的国产车企、40% 的新能源车企提供了一站式的非结构化数据管理和智能应用开发支持。开发者可以使用自然语言与数据库交互,不仅可以获得具体的数据输出,还可以得到针对这些数据的知识洞见,甚至利用私域知识库回答更多领域问题。
对于开发者而言,阿里云的 Serverless 与 AI 驱动的一站式数据平台已经可以满足 AI 和云原生时代的应用开发需求。虽然数据库技术仍在持续迭代和演变,但开发者并不需要过分关注这些变化,只需掌握最核心、最关键的数据库知识就已经足够了。在此基础上,再掌握一些与 AI 相关的关键数据技术,如高维向量处理、Decoder-only Transformer 等即可。剩下的工作都可以交给云端智能数据平台,并利用数据平台的智能辅助工具来简化流程,就能一直紧跟数据平台的变革趋势。
写在最后
《云栖“码”上聊》围绕 AI 开发、云原生 Serverless 开发与数据平台三大话题内容,向企业和开发者群体展示了阿里云在当下这个充满机遇和挑战的 IT 技术转折期作出的思考、总结的经验与最新的探索成果,并回答了开发者最关注的一些问题。
本期节目邀请到的几位阿里云专家嘉宾都提到,编程开发行业正在面临大模型和云原生技术带来的范式变革冲击,开发者都需要转变传统思维,以新的理念和心态迎接这一浪潮。在过去,开发者更多是专注于代码和底层基础设施,只有很少的精力留给产品和创意。将来,在阿里云提供的 Serverless 一站式解决方案的帮助下,开发者可以更多关注业务的实现逻辑,有更多资源来优化业务流程,更好地实现产品的创新。阿里云在为开发者群体打造一个更加智能、便利、低成本和高效率的开发平台。在这样的平台支持下,即便是缺少技术背景的非研发部门员工现在也能参与到应用的开发工作中,挥洒自己的创意和激情。
正如节目嘉宾引用的《双城记》名句所言,这是最好的时代,这是智慧的时代。今天的开发者虽然经历着前所未有的冲击与挑战,但他们面前也有着无限的机遇等待把握。阿里云希望与开发者一同驾驭这场变革,为文明的进步和持续创新作出更大贡献。
文章评论