Shopify 推出 Gisting 新技术：将大模型系统提示词压缩为主旨词元

📋总体概括

Shopify 推出名为 Gisting 的技术，核心思路是将大模型应用中冗长的系统提示词压缩成少量「主旨词元」（gist tokens），让模型先学会记住指令核心，再执行任务。这一做法可显著降低每次请求的输入词元数量，从而减少推理成本和延迟，同时保持模型对指令的遵循能力。对于大量依赖提示词工程、高频调用大模型的电商和SaaS场景，Gisting 提供了一条在不更换模型、不微调权重的前提下优化成本的中间路线，也反映出头部应用厂商正在从「调提示词」走向「工程化压缩提示词」的阶段。