克日，讨论公司Snowflake宣告了一项名为“SwiftKV”的AI模子调校身手，并正在Hugging Face平台上开源了三款基于该身手调校的Llama 3.1 AI模子。SwiftKV身手的中央正在于优化模子提示词治理历程，处分了大模子正在治理用户输入提示词时花费巨额预备资源的题目。据Snowflake先容，SwiftKV打破了守旧的键值缓存压缩身手，通过模子重组与学问留存自我蒸馏手腕，明显提拔了模子含糊量，消浸了延迟和运算本钱。实习结果显示，应用SwiftKV身手优化后的Llama 3.1模子正在代码自愿补全和文本摘要等使射中发挥精采，整个含糊量提拔了两倍，推理功夫削减了50%。