- 大模型时代的基础架构:大模型算力中心建设指南
- 方天戟
- 266字
- 2024-07-24 13:39:21
1.5 本章小结
以大模型和AI为代表的机器学习算法,在本质上是通过多个线性幂函数的叠加来逼近现实世界中事物的数学模型。
计算这些线性幂函数的参数的过程,就是调参。在这一计算过程中要进行大量的乘加运算。因此,在这样的场景下,具备并行乘加运算能力的GPU或TPU等硬件,其性价比大大超过通用的CPU,从而在运行机器学习算法程序时大放异彩。特别地,以Google推出的TPU为代表的张量处理器或神经网络处理器更是牺牲了其他运算功能,并将针对机器学习算法做的优化发挥到了极致。
那么,各类机器学习算法程序是如何调用GPU或TPU等并行运算硬件,来完成计算任务的呢?第2章将进行详细讲解。