开源4年份额达30%,昇思引领中国AI框架崛起
来源:观察者网
2024-12-14 16:38
【文/观察者网 吕栋】
近两年,以大模型为代表的生成式人工智能,发展的如火如荼,也让底层算力基础设施和上层应用不断成为市场和舆论焦点,反倒是AI框架这种“承上启下”的中间层,鲜少出圈。
事实上,中间层的作用一直都不可或缺。在PC和移动互联网时代,操作系统、中间件等基础软件,上承应用、下接芯片,化解了底层技术的高门槛,让用户交互更便捷、开发者创新更专注。而在云计算赛道中,出现了IaaS、PaaS、SaaS三层架构,其中PaaS层允许用户开发、运行和管理应用程序,无需关心底层硬件的复杂性,为云计算快速发展创造了机遇。
到了人工智能时代,AI框架向下(南向)对接多样性算力(NPU/GPU/CPU),向上(北向)通过编程接口和工具帮助开发者实现大模型、算法创新应用,同样是中流砥柱。
在AI框架这一核心赛道中,谷歌、Meta等国外巨头拥有先发优势,昇思等处在后发位置的国产AI框架,在坚持根技术创新的同时,以开放之姿汇聚产业力量,也已经迎头赶上,正在加速千行万业数智化升级。
12月14日,在昇思人工智能框架峰会上,中国科学院科技战略咨询研究院预测,中国AI框架2024年新增市场昇思份额将达30%,现场18家单位发布基于昇思的原生开发大模型成果,标志着昇思已跻身全球主流AI框架第一梯队。
昇思人工智能框架峰会现场
在逆全球化大行其道的今天,用开放击破封闭、激发创新活力,对中国科技企业破局显得尤为重要。尤其在以科技创新引领现代化产业体系建设的指引下,昇思汇聚AI产业界、学术界力量,在支撑中国构建全栈AI开源生态的同时,也将助力世界人工智能的包容普惠发展。
机遇和挑战并存,中国AI框架有了新选择
AI框架被称为“智能经济时代的操作系统”,它的关键作用在于加速AI算法应用创新,降低开发门槛、避免开发过程中“重复造轮子”。在实际使用过程中,开发者可以聚焦在算法与数学本身,由AI框架提供工程化能力,便于开发者快速构建、训练和优化AI模型。
从具体开发过程来看,如果不使用AI框架,开发者就需要自行搭建分布式并行算法等才能进行模型训练。而有了AI框架,开发者就可以直接把模型/数据切分到不同的芯片中,进行协同计算,就好比高速公路可以实现多车并行,让通行速度直线飙升。
当开发门槛降低,开发效率提升,产业化落地条件变得成熟,人工智能产业也迎来飞速发展。根据《全球人工智能产业发展白皮书(2024年度)》,2023年全球人工智能产业规模已高达7078亿美元,同比增长19.3%,目前国际上发布大模型的企业和机构数量超过150家。而在中国,2023年人工智能核心产业规模达5787亿元,是2019年的2.62倍。
人工智能产业的规模发展,给“中流砥柱”的AI框架带来了机遇,也带来了考验。一方面,越来越大的模型与计算集群需要AI框架具备更好的分布式并行能力,以解决训练任务拉起、稳定运行和快速调优等难题;另一方面,开放的生态与多元的选择愈发重要,只有以开放之姿凝聚创新,打造更好用的AI框架,才能把人工智能产业的未来发展托举的更高。
正是在这种机会和挑战并存中,昇思悄然跃升为AI框架的新选择。
昇思人工智能框架峰会现场
截至目前,昇思已孵化、支持50多个国内外主流大模型,成为使能大模型的最佳框架选择。自2020年开源以来,基于昇思框架发表的顶级论文数量超过1700篇,在所有AI框架中排名中国第一、全球第二。截至目前,昇思MindSpore开源社区已汇聚3.7万余名核心贡献者,Gitee-AI领域全品类指数NO.1,已成长为中国最具创新活力的AI框架开源社区。
昇思的崛起,让国产AI框架有了与国外巨头同台竞技的能力。但在亮眼成绩单背后,外界也不免心生好奇,昇思作为后发框架,是如何实现后来居上、凝聚开发者共识的?
技术创新+坚定开放,助推昇思快速崛起
在AI框架赛道中,谷歌的TensorFlow和Meta的PyTorch等国外框架起步较早,无论是技术、生态成熟度还是市场认知度,都形成了深厚的壁垒。尤其是生态成熟度,对基础软件来说是技术迭代和提升认知度的关键,后发者想改变既有格局,殊为不易。
昇思诞生短短5年就实现跨越式发展,下载量已突破1100万+,认证企业数1700+,打造超过2000+解决方案,认知度已进入AI框架第一梯队。中国科学院科技战略咨询研究院预测,中国AI框架2024年新增市场昇思份额将达30%,成为中国发展最快的开源AI框架。
这些成就背后,离不开昇思深耕技术+拥抱开放的两步走策略。
我们都知道,华为坚持根技术创新,但目的并不是重复造轮子,而是要引领技术创新,给用户带来更好体验,这一理念已在鸿蒙、欧拉等领域中充分体现,昇思也不例外。
昇思致力于克服AI计算的复杂性和算力多样性难题,大幅降低AI应用开发门槛。
昇思人工智能框架峰会现场
2019年8月,华为刚发布昇思时就提出,AI框架应该是开发态友好(例如显著减少训练时间和成本)和运行态高效(例如资源和能效比),更重要的是对每个场景都能适应。所以昇思自诞生起,就成为业界首个端边云全场景协同的AI框架,它南向支持适配包括NPU/GPU/CPU多样性算力,北向支持各行业、各算法厂家、各高校和科研机构的模型和应用开发。只要涉及到人工智能应用,昇思都能根据硬件环境实现自适应部署。
最近一年多来,昇思在前沿技术上持续突破,随着2.0、2.3和2.4等版本相继发布,昇思实现全流程开箱即用、兼容业界主流生态、动静统一开发、原生亲和超节点、分布式技术升级、部署流程大幅简化......已经跃升成为服务中国AI大模型开发最灵活、训练最好用、推理最高效的框架。面向AI4S场景,昇思持续升级底层函数式编程体验,并打造高性能AI4S使能套件,联合行业用户、科研机构、学术专家共同加速科研创新,推动科技进步。
昇思人工智能框架峰会现场
框架的核心是技术,技术的核心是每一位开发者。
昇思持续的技术突破,离不开坚定走开放之路。一直以来,华为一直坚持打造开放的计算产业生态,坚持根技术创新,与产业界共同打造坚实的、可持续的计算产业生态。
作为框架新势力,昇思更是将拥抱开放作为破局之道。早在2020年3月,昇思作为业界首个全场景AI框架宣布开源。2023年6月,昇思MindSpore开源社区理事会成立,通过理事会加强核心伙伴粘性,共同协商、共同决策社区治理与发展,打通产学研用通路,助力伙伴的商业生态成功,同时加强与其他开源社区合作,联合贡献中国开源事业。
开源四年多来,昇思持续浇灌开放之花,一个开放、多元、包容的AI技术生态体系逐步成熟,这代表着中国自主力量探索AI根技术的执着。今年3月,昇思开源社区对外发布了“四项行动”赋能学术与生态发展,支持更多伙伴走向昇思原生开发,助力开发者在社区获得真正的实践和成长,引领学术突破和生态跃迁。秉持华为坚定开放的策略,昇思直面各种挑战,从诞生至今不断突破技术和生态瓶颈。作为中国乃至世界的AI框架“新势力”,昇思与产业合力,开源建设与技术创新持续互相反哺,必将加速全面智能化时代到来。
昇思人工智能框架峰会现场
深入赋能产学研发展,昇思发展按下加速键
任何技术突破想要获得市场认可,都不可能只靠纸上谈兵。尤其是在追求极致效率的AI框架领域,新进者要想构建自己的生态体系,必须有扎实的案例支撑,才能获得用户青睐。
诞生5年来,昇思可谓身经百战,认知度处于行业前列。
在大模型成为AI主流演进方向的当下,昇思持续赋能大模型成功实践。这轮大模型爆火之前,昇思就已多次支持国内首个大模型创新,比如孵化业界首个两千亿参数中文预训练大模型“鹏城盘古”,孵化业界首个多模态大模型“紫东太初”,并获得WAIC最高奖SAIL奖。
近两年随着技术持续迭代,昇思使能大模型落地更加高效。
基于今年3月推出的昇思MindSpore 2.3版本,训推一体的架构升级,实现脚本、分布式策略,运行时的统一,Baichuan2-13B的推理部署只需1天。在与智谱AI的合作中,代码生成大模型CodeGeeX4的新版本基于昇腾AI与昇思AI框架训练,依托昇腾与昇思的多维混合分布式并行技术等软硬件能力等,大幅提升了模型开发、训练的效率及模型精度。
截至目前,昇思已成为支持主流大模型最多的自主框架,包括Llama、Qwen、智谱、百川、零一万物、科大讯飞、面壁、电信星辰、移动九天等。昇思孵化、支持的国内外主流大模型超过50个,覆盖互联网、金融、通信、制造、能源、交通等,凸显行业对昇思的高度认可。
在AI for Science(科学智能)赛道中,昇思的表现同样不俗。
昇思人工智能框架峰会现场
一直以来,昇思都将AI for Science视为AI技术变革的下一条新赛道。在2023年1月Omdia发布的报告中,昇思对AI for Science的支持能力已经超过PyTorch,并有赶超TensorFlow的趋势。在此后的2.0、2.3和2.4版本中,昇思不断提升对科学计算的原生支持能力。
在行业中,昇思对AI for Science的赋能也已经硕果累累,并且连续获得了WAIC的最高奖SAIL奖。比如东方翼风流体大模型,利用昇思MindSpore Flow流体仿真套件,结合流体领域专家经验和数据,实现对大飞机翼型全场景飞行工况模拟,大飞机三维翼型设计速度提升1000倍;南方电网基于昇思开发的“驭电”智能仿真大模型,打造了电力系统分析与控制的“超强大脑”,解决了新能源变化无常、难以计划带来的难题。
昇思在化工和生物计算等领域也已经探索多年,联合顶级科研机构和伙伴打造了AI生物计算套件,包含蛋白质结构预测、生成等20多个SOTA模型,加速相关领域创新。
开源四年,昇思从打通科研创新,到使能使能百模千态、千行万业,开创了AI产业聚集的新模式,跃升为中国AI框架的新选择,印证了华为走开放的计算产业之路的正确性。而像昇思一样的案例还有很多,openEuler、openGauss、CANN、MindIE等等......它们背后都是中国产业界的大联合,一同构建起了中国计算产业的坚实底座。
开放的本质,是共建共享共赢。不难预期,在全球局势日益复杂的今天,以华为为代表的中国科技企业,坚定走开放之路,凝聚全球开源力量,势必会形成更高效地技术创新。一方面它将助推中国科技产业的发展,同时也定会消弥技术鸿沟,推动全球技术普惠,让世界共享人工智能发展所带来的智能美好未来。