PyTorch compile 模型优化和应用|2024龙蜥大会技术实践分论坛

原创

torch.compile 是加快 PyTorch 代码运行速度的最新方法，torch.compile 通过 JIT 的方式捕获静态图，利用不同的后端生成优化 kernel，这让 PyTorch 的代码运行得更快，同时用户只需要非常微小的改动。与过去的 torch.jit 方式不同，compile还支持训练，并在整个过程中引入 fake tensor、dynamic shape、recompiles等技术，在编译速度、兼容性上非常具有吸引力。同时，朱宏林围绕实际业务场景，分享其在使用compile过程中遇到的问题和解决办法，以及利用 compile 技术在提升模型推理/训练性能方面所做的努力。