研究提出新型时间序列预测框架

中国科学院
50次浏览

近期,中国科学院软件研究所研究团队为提升大语言模型时间序列预测性能,提出了向量注入式上下文学习框架。该框架能够稳定提升时间序列预测性能,并可以降低计算开销。39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

大语言模型进行时间序列预测时面临一项主要挑战——预训练文本与时间序列数据在分布与结构上存在差异。传统方法采用全量微调来减少这种差异,但其训练成本高、显存占用大,限制了实际应用。39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

研究团队提出引入上下文学习的方法LVICL。该方法通过在输入提示中引入任务示例,使模型无需更新参数即可实现“类似微调”的效果。为提升上下文学习对示例选择与顺序敏感的不稳定问题,该方法提取示例的向量表示,并以置换不变的方法进行聚合,从而消除顺序敏感性;采用轻量适配器对聚合后的上下文向量进行精练,抑制其中可能干扰预测的分量,增强对示例选择的鲁棒性;将优化后的向量注入到大语言模型各层的残差流中,以可控方式引导模型进行预测。39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

研究团队在多个时间序列预测基准数据集上对LVICL进行系统评估。实验表明,LVICL在保持大语言模型完全冻结、训练开销降低的前提下,能够稳定复现并进一步放大上下文学习带来的收益。与轻量微调方法相比,LVICL在多种数据集与实验设置下均表现出更强的预测能力,并在效率与性能的平衡上展现出更好的实用性。39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

相关论文被互联网领域顶级国际学术会议The Web Conference 2026(WWW-26)录用。39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

论文链接39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

LVICL总体框架39E速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-12-2556-0.html研究提出新型时间序列预测框架

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

被迫停产 特斯拉柏林工厂遭环保组织纵火
近日,据海外媒体报道,周二凌晨(当地时间3月5日),环保活动人士涉嫌纵火袭击特斯拉德国工厂,导致工厂停电,被迫停产。  报道称,警方炸弹处理小组已达到现场。除了特斯拉格伦海德(Gruenheide)工厂,附近的其他一些地区也同时停
加快发展新质生产力成今年首要任务 瞄准智能网联汽车、生物制造等新赛道丨解码政府工作报告
21世纪经济报道记者 缴翼飞 北京报道十四届全国人大二次会议3月5日在北京开幕,新质生产力写入今年的政府工作报告,并被列为2024年十大工作任务的首位。21世纪经济报道注意到,新质生产力
或618马力 新款Model 3高性能版信息曝光
近日,海外社交媒体上疑似泄露了特斯拉Model 3高性能版车型的相关参数,可以看到,新车后电机将提升至412马力,综合最大功率将会达到612马力,续航预计430km左右。据悉,特斯拉或在近期公布高性能版车型的具体参数,同时有望正
广汽飞行汽车 GOVE 首次在城市公众复杂低空环境完成飞行验证
3 月 10 日消息,据广汽集团官方公众号昨日晚间推文,3 月 8 日,广汽飞行汽车 GOVE 在广州 CBD 上空进行飞行展示,首次完成在城市公众复杂低空环境进行飞行验证,为广汽城市空中交通示范运行探索迈出了重要一步。据介
胡麒牧:7年亏损超72亿,海马汽车氢能汽车之路还能走多远?
  中新经纬3月8日电 题:7年亏损超72亿,海马汽车氢能汽车之路还能走多远?  作者 胡麒牧 清华大学战略新兴产业研究中心副主任  海马汽车3月5日晚间披露的最新产销数据显示,2024年2月公司销量628辆,同比下降81.41%;本年
采用纯视觉智驾 极越获L3自动驾驶测试牌照
近日,极越获颁中国光谷首张L3自动驾驶测试牌照,可在指定区域开展有条件的自动驾驶道路测试。极越将持续提升智能驾驶研发的创新力和硬实力,同时也将助力武汉市在智能驾驶领域的发展和示范应用的落地。  2023年1月,

热点精选

最新推荐

您可能感兴趣