2025-08-02 01:36:04 | 来源:admin
小字号
IT之家1月17日消息,研究公司Snowflak《地下城私服》
IT之家1月17日消息,研究公司Snowflake公布了一款名为“SwiftKV”的AI模型调校技术,并在HuggingFace开源三款利用“SwiftKV”技术进行调校的Llama3.1AI模型(点此访问)。
IT之家获悉,SwiftKV技术的核心在于优化模型提示词处理过程。研究人员指出,通常情况下大模型最为消耗计算资源的环节在于处理用户为模型输入的提示词,而许多企业为模型自定义了极长的提示词,据称平均情况“大约是输出生成内容的10倍”。
据Snowflake介绍,这一“SwiftKV”模型调校技术专门为相应预制的提示词处理进行优化,号称突破了传统的键值(Key-Value,KV)缓存压缩技术,还在模型推理过程中引入模型重组与知识保存自我蒸馏方法,从而有效提升模型吞吐量、降低了延迟和运算成本,号称可以帮助AI模型显著缩短推理时间,可以降低模型50%推论时间。
实验结果表明,在利用SwiftKV技术优化Llama3.1的80亿和700亿参数模型后,相应模型的整体吞吐量可提升两倍,同时相应模型也在代码自动补全、文本摘要等方面表现出色。
IT之家1月17日消息,研究公司Snowflak( 2025-08-02 2025-08-02 01:30:04版)
(责编:admin)
热门排行
- 1四川达州公安筑牢社会治安防控校园安全防线
- 2到家门口招人,多地包机包车接人保用工稳就业
- 3为妇女全面发展提供坚实法治保障——全国人大常委会法工委有关部门负责人解读新修订的妇女权益保障法
- 4以茶为媒,推动文明交流互鉴
- 5四川乐山公安开展“一窗通办”服务让群众办事进入“快车道”
- 6最高法、最高检、教育部联合发布《关于落实从业禁止制度的意见》
- 7习近平法治思想研究中心召开学习宣传贯彻党的二十大精神座谈会
- 8为实现中华民族伟大复兴中国梦一起来想、一起来干——各民主党派中央、全国工商联和无党派人士认真学习贯彻中共二十大精神
- 9“五个一百”,奋斗精神绘就美好生活画卷
- 10山东诸城扎实推进“法治带头人”“法律明白人”培育工程