在线蒸馏灵活却太慢，离线缓存高效却不够灵活，LinkedIn 如何取舍？

📋总体概括

LinkedIn 在推荐系统模型蒸馏上面临经典取舍：在线蒸馏能实时获取最新教师模型信号、灵活度高，但计算开销大、速度慢；离线蒸馏预先缓存教师输出、推理高效，却难以跟上模型与数据的快速变化。LinkedIn 的方案核心在于权衡两者，通过架构与流程设计在时效性和资源效率之间找到平衡点，为大规模工业级推荐系统的蒸馏落地提供了工程参考。