让英伟达确立主导地位的并非芯片本身GPU与CPU在设计上存在本质差异。中央处理器, 作为那种处理繁杂任务的具备全方位能力的处理器, 一次仅仅能够处理数量有限的任务。而GPU就好似那种流水线工人, 它所擅长的是在同一时间去执行好多简单又重复的计算。自21世纪初研究人员开始意识到GPU的非凡潜力。然而当时GPU编程的复杂性令人望而却步。在程序员进行工作时, 需要借助多种图形API, 以此来引导GPU去执行非图形任务, 然而这样做效率是极低的, 是这样的情况。对于此情况, 英伟达那些从事工程技术工作的人员心里深切地感到担忧。于是, 在二零零六年这个时间点上, 英伟达推出了CUDA。这是一个平台, 该平台允许程序员直接运用C语言来对GPU进行控制, 后续这个平台还会支持其他语言。从此GPU的角色不再局限于游戏的渲染机器而是转变为一个功能强大的通用计算引擎。其后, 英伟达再度推出了CUDA, 它里面整合了调试工具以及优化器等, 这让编程体验变得更为流畅。正是这些创新, 让CUDA发生了演变, 它从原本的一项技术, 变成了一个平台之后, 吸引了众多开发者加入其中。这一成就归功于人工智能的兴起特别是深度学习的迅猛发展。2012年, 深度学习模型, 于图像识别大赛里, 展现出非凡表现, 大放光彩, 令科技界感到震惊。就该模型的训练而言, 其所需的是大量的矩阵计算, 然而, GPU以及CUDA恰恰是针对这类计算的理想选择。这一生态系统的关键在2016年播下。接受了英伟达的捐赠标志着世界上首台专为人工智能设计的超级计算机它诞生了, 它的核心, 是由8个基于Volta架构的V100 GPU构成。若干年后, 因GPT系列取得成功之际, 行业标准被收纳进CUDA的语法里头, 训练流程环绕CUDA来构建, 算子接口依据CUDA去打造, 资源调度依照CUDA来开展。的成功路径迅速成为整个行业的默认选择。不管是谷歌的那个, 还是后来的Face, 都依托于CUDA的底层支撑。英伟达借着这股势头, 在AI兴起的关键节点, 暗暗把CUDA从一个选择转化成行业规范。CUDA构成的三大核心要素①开发函数库基于CUDA技术提供了一系列应用开发库。在CUDA数学库, 其中涵盖CUFFT等内容, 它属于那基础的线性代数子程序库, 此库能提供矩阵乘法相关、向量运算相关这般高性能的线性代数操作函数, 这些函数可显著提升了线性代数计算的效率。快速傅里叶变换库是CUFFT, 它被用来对离散傅里叶变换及其逆变换进行高效计算, 在信号处理、图像处理和诸多其他领域有着广泛应用。CUDA深度学习库也就是CUDNN, 它是专门为深度学习而设计的, 它提供了像卷积、池化、归一化等这类深度学习常用操作的高性能实现, 它是深度学习框架比如、等在GPU上能够高效运行的关键支撑。另外呢存在着别的实用库, 那是CUDA的并行算法库, 它给出了跟CSTL相类似的并行算法以及数据结构, 涵盖排序、搜索、规约等这些操作。②CUDA运行时库, 它提供了应用开发接口, 还提供了运行期组件, 其涵盖了基本数据类型的定义, 包含各类计算函数, 有类型转换函数, 有内存管理函数, 有设备访问函数, 还有执行调度等函数。这些函数被用来, 在主机也就是CPU跟设备也就是GPU之间, 开展数据传输的操作, 落实内存管理的事宜, 进行内核启动的行为等。比如, 开发者能够借助运行时库函数把数据从主机内存拷贝到GPU内存中, 接着开启GPU内核针对这些数据开展计算, 最后又把计算结果从GPU内存拷贝回到主机内存里。有一个东西叫CUDA驱动, 它在做的事情是很重要的, 它要负责跟底层的GPU硬件去搞通信, 然后还有一项任务, 是把CUDA程序转变为GPU能够理解的指令以及数据格式, 并且它还要负责管理GPU的资源, 这里说的其中两方面举例来说, 像是显存分配、线程调度等这些情况。它是连接CUDA程序跟GPU硬件的桥梁, 做到能让程序在各种各样不同型号的英伟达GPU上面顺利地运行。防御壁垒的深度甚至超越了硬件本身英伟达有CUDA生态系统, 这不光是软件工具聚集起来的, 它是建立在, 是被构建于。开发者粘性-工具链垄断-框架绑定-商业利益之上的闭环体系。其一, 说到开发者粘性, CUDA能占据主导地位, 是因为它有先发优势, 这是一方面。其二, 它还得益于规模效应, 这又是另一方面。经过二十年的积累众多开发者已经形成了难以改变的代码惯性要是去把CUDA代码往别的平台进行迁移, 极有可能得去重新编写百分之三十到百分之五十的核心逻辑, 像是内存管理、并行优化这类, 还会面临百分之三十到百分之六十的性能损失, 迁移成本特别巨大。②说到工具链垄断这儿, 英伟达在过去的二十年里头, 持续不断地去完善CUDA生态系统, 最终达成了从开发一直到部署的。全链条捆绑举例来讲, CUDA有着许多极为出色的深度学习加速库, 它的底层库像cuDNN, 其优化程度远大超竞争对手。在负五十的推理任务那儿, cuDNN 的性能啊, 是 ROCm 的二点三倍, 是 Intel 的三点一倍。再如CUDA的推理引擎能够将模型推理延迟降低至毫秒级别而且, AMD在相同精度状况下, 其延迟是高出了百分之五十五的, 华为昇腾的CANN引擎, 仅仅是支持那些有限的算子的。③CUDA与主流AI框架的深度耦合也助其形成了框架即生态的隐形垄断。比方说全球使用频率最高的那个深度学习框架, 就说它的V2.3版本吧, 其中85%的算子优化代码只是专门针对CUDA去实现的。涉及到的相关新功能, 像是动态shape推理, 会优先展开对CUDA 12.x版本的适配工作。还有AMD ROCm, 它需要等待社区贡献代码, 在此情况下, 适配周期平均而言会延迟六个月。此外, CUDA在框架底层, 便获取了英伟达独一无二的优化特权, 从而与其他竞品, 生成了明显的性能差别。例子来讲, 于编译期间呀, 会自行去调用CUDA专门的优化呢就好比是自动的内核融合那般。那些ROCm版本呢, 是需要开发者去手动插入HIP API的, 这也就极大地增加了代码的复杂性。④英伟达通过计划支持了众多AI初创公司这些公司被纳入英伟达生态紧接着, 被下达指令要优先去运用CUDA, 并且要把代码分享到NGC英伟达GPU Cloud模型库当中。从底层逻辑到上层策略的生态系统由CUDA及其衍生工具构建的, 像PTX、Run:AI这些, 所形成的并非仅仅只是一套工具链, 而是一种从底层执行逻辑起始, 一直到上层调度策略的, 完整的操作系统。一旦选用CUDA, 那就得运用其编译器, 并且遵照其张量并行模型来开展设计。启用Run:AI这个工具, 必然得于该工具所规定的资源调度规则里实施对算力的优化提升。使用PTX就要接受其底层线程分配和执行方式。在另外一种说法来讲, 在从底层硬件进行编程的这个方面, 到上层应用展开开发, 接着是进行调试, 然后是予以优化, 最后是集群管理的各个层面, 都是由英伟达来进行定义的。今日之CUDA已不再是一种工具而是一整套控制结构。英伟达所控制的不仅仅是某个产品而是整个AI工程世界的运行方式在平台上运行AI框架时英伟达实际上控制着中间三层这是AI软件栈里最为关键的执行以及接口层, 此情形跟微软往昔借助手段把控PC行业的状况一模一样。不能够更换操作系统, 即便你拥有替换键盘、鼠标的能力。同样的道理, 在AI时代, 就算你能够更换供应商, 然而却没办法绕开CUDA的接口。CUDA在英伟达硬件生态中的核心地位①CUDA和英伟达GPU硬件有着深度融合的关系, 这种关系是怎样的, 二者相互依存彼此协作, 能做什么能共同为用户给予强大的计算能力。英伟达GPU硬件的性能优势能被CUDA充分发挥出来, 这是因为CUDA有独特的设计, 还有优化。比如说深度学习里的卷积计算, CUDA依靠精心设计出来的线程调度以及内存访问模式, 可以使得GPU的不少CUDA核心一块儿参与计算, 显著地提升了卷积计算的那个速度。在硬件加速功能层面, CUDA和英伟达GPU硬件关联紧密, 众多硬件加速功能唯有借助CUDA方可充分展现出来。比如, 英伟达GPU之中的Core, 专门是用来加速矩阵乘法以及累加运算的。CUDA给出了对应的编程接口, 这让开发者可以便利地借助Core的强大性能, 于深度学习训练里达成更快的计算速度以及更高的效率。除此之外, CUDA针对英伟达GPU硬件的调用具备独特特性它可以直接去访问GPU的硬件资源, 进而达成高效的并行计算, 这样的情况是存在的。这种以直接访问硬件的形式, 削减了中间层所产生的开销, 提升了计算所具备的效率, 致使CUDA于处理大规模数据以及复杂计算任务之际拥有显著的优势。②促使硬件产品有所发展以及进行迭代: CUDA的发展, 对于英伟达硬件产品的更新换代而言, 起到了关键的推动作用。因为CUDA功能持续增强, 且应用场景不断拓展。之后, 这对英伟达GPU硬件的性能和架构提出更严苛要求。然后, 这促使英伟达持续优化硬件架构, 并提升硬件性能。最终目的是使其能满足CUDA的需求。于硬件架构优化范畴之中, 英伟达依据CUDA的并行计算所需, 持续改良GPU的架构设计。比如, 在最开始的时候是Fermi架构模样, 而后呢又转变为接下来的Volta, 即架构。英伟达, 持续不断地去增添那CUDA核心的数量规模, 对内存带宽以及缓存机制予以优化改进, 以此提升GPU的并行计算能力水准, 还有数据处理增速。与此同时, CUDA的发展, 推动着英伟达接连不断地推出全新的硬件产品, 以此来契合不同应用场景的需求。举例来说, 英伟达所推出的A100、H100等这类高端GPU产品, 其在硬件性能方面有了极大幅度的提升, 不仅如此, 还针对CUDA开展了深度优化工作, 从而为人工智能、高性能计算等领域给予了更强大的计算支持。这些全新的硬件产品, 反过来对CUDA的发展起到了推动作用, 同时也促进了其应用, 进而形成了一种良性循环。③构建起完整的硬件生态系统, 其中, CUDA于英伟达的硬件生态系统里, 担当着连接硬件跟软件的关键角色。基于英伟达GPU硬件对于软件以及应用的开发, 它起到了促进的作用, 并且构建了一个绝无仅有的、完整的硬件生态系统。在此生态系统里, CUDA身为核心平台, 引得诸多开发者, 凭借它来开展软件, 以及应用的开发。在多个领域之中, 有着基于CUDA开发的软件以及应用, 它们涵盖了从深度学习框架那儿到科学计算软件这儿所有方位, 从数据分析工具开始至图形图像处理应用结束这般种种分类, 满足了不同用户的需求。针对深度学习这一领域给予举例呈现、对于主流深度学习框架而言其均针对CUDA给出了良好的支持。这些框架可供开发者利用, 在英伟达GPU上, 能快速进行搭建, 还能用于训练深度学习模型, 进而实现高效的图像识别任务, 也可实现自然语言处理等任务。于科学计算范畴之内 , 以这样的、那样的软件同样凭借CUDA去推进计算进程 , 使得科研工作里的效率获得了提升。结尾经济学中有一个经典理论若是一个生态系统, 其迁移成本远远高于留存成本这么一种情况发生时, 那么这个生态系统就会被锁定成那种状态。这恰恰是CUDA所具备的厉害所在之处, 它致使使用者形成了路径依赖, 并且这种依赖不再被限定于硬件层次方面的。兼容性而是将整个AI工程师的思维方式纳入其结构之中。我们看到了致力于搭建统一人工智能基础设施且经过诸多有力尝试而成的项目, 不管是TVM, 、XLA, 还是MLIR, 或者是另有一些源于良好出发点的项目。但遗憾的是尚未有任何一个能提供令开发者完全满意的结果。项目一步一步渐渐地朝着碎片化的方向发展, 承诺最终没有能够实现, 那些使用替代硬件的用户手上的工具常常总是不能达成人们心里所期望的那般令人如意。现实情况是唯有英伟达真正解决了这一问题。部分资料参考InfoQ《GPU 编程改朝换代英伟达终于给CUDA增添了原生支持, 百万用户会变成千万吗? 》, 科鲁叔叔趣味讲说AI: 《CUDA: 英伟达那神奇的引擎怎样改变世界》, Rog3r: 《到底啥是英伟达的CUDA, 真的牢不可破吗? 》, 半导体行业观察出文: 《怎样打破CUDA的垄断LLVM奠基人长篇解读》, 牛山AI公园发表: 《是否真的避开了CUDA一篇文章弄明白CUDA为啥是英伟达的核心壁垒》。