发版说明
此版本在新功能方面,引入了对Fake GroupWise Quant的支持,有助于用户更好地进行模型量化。同时新增了图神经网络训练引擎PGLBox,支持超大规模图模型GPU多机多卡高效训练。此外,增加了对自定义设备的支持,进一步扩展PaddlePaddle的功能范围。在bug方面,解决了一些核心功能、数据加载以及网络通信等方面的问题。修复了多个安全问题,包括一些潜在的安全漏洞,进一步提高框架代码安全性,并更新了安全公告。
新特性
- 支持Fake GroupWise量化(#61900):新增对一种量化方法的支持,可以提高模型的性能效率。
- 支持图神经网络GPU训练(#60495,#62111):新增图神经网络训练引擎PGLBox,支持超大规模图模型GPU多机多卡高效训练。
- 其他改进:支持tile op int8模式推理,并添加vlog语句 (#60261),repeat_interleave支持bfloat16数据类型的Tensor输入 (#61854),自定义设备支持动态图模式的c_embedding算子 (#60774),在CINN(自定义中间网络)框架中,将IntrinsicOps添加到
ir_codes_collector
中。
Bug修复
- 修复权重量化内核错误(#60184):解决了在权重量化内核中当
n
不能被64整除时的问题。 - 修复量化感知测试问题(#61211):修复了量化感知训练(QAT)测试中的问题,以确保其正常运行。
- 修复Paddle-TRT集成问题(#61806, #61605, #61966):对Paddle-TRT集成进行了多项修复,包括缓存键值(KV)量化和单元测试失败问题。
- 禁用LLM_INT8 UT(#62282):禁用了大型语言模型(LLM)INT8精度的单元测试,以避免不必要的运行时。
- 修复test_benchmark单测编译失败问题(#61427):修复了test_benchmark单测编译失败的问题#60092。
- 修复工具包的数据加载器(#61867):对工具包的数据加载器进行了必要的更正。
- 修复put_along_axis系列问题(#62065):对reduce参数新增支持min/max/mean三种可选值,修复了reduce=add/mul下的反向梯度计算Bug, 修复了reduce=mul下的GPU前向计算Bug,修复了size过大时的前向计算Bug。
- 修复Windows平台下的编译Bug(#60308):修复windows平台下的编译找不到common库的bug。
- 修复OpenSSL-CPU编译错误(#62079):修复cpu-openblas编译场景中未正确链接 Python 库导致的编译bug。
安全修复
- 修复安全问题(#61161, #61294, #61032, #61285, #61162, #61389, #61356, #61827):修复了涉及绘图功能、解压缩和命令执行的多个安全问题,以确保框架的安全性和完整性。
- 禁用特定测试(#60173, #60662, #60786):禁用了某些未通过或不适用于特定配置或版本的测试。
- 修复框架不同组件Bug(#61631, #62117, #60840, #62104, #60217, #60930, #61380):在框架的不同组件中修复了各种Bug。
- 修复自定义设备功能(#60616):打开自定义设备中生成器偏移量的编译控制。
- 内存和分配检查(#60208, #60545, #61847, #62111, #62057, #62278):实施了与内存分配和管理相关的检查和修复,以防止崩溃并提高稳定性。