AI推理芯片激发新一轮应用创新

中国科技网
190次浏览

随着ChatGPT横空出世,人工智能(AI)领域的竞争进入白热化。英伟达公司的高端图形处理单元(GPU)芯片“一飞冲天”,受到各大科技公司追捧。与此同时,也有一些初创公司另辟蹊径,专注于研制另一种芯片——AI推理芯片,为AI产品的蓬勃发展和应用注入全新动力。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据物理学家组织网近日报道,这些AI推理芯片旨在降低生成式AI所需的高昂计算成本,更贴合AI工具的日常运行要求。此类芯片成本的不断下探和性能的持续提升,有望掀起新一轮AI应用创新浪潮,让更多复杂且强大的AI应用走进千家万户。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

推理计算需求水涨船高cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

训练与推理,是AI大语言模型两大核心能力的坚固基石。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在应用过程中,经过训练的ChatGPT等生成式AI工具会吸纳新信息,从中进行推理并生成回应,如撰写文档、生成图像等。这类AI工具可应用于医疗诊断、自动驾驶、自然语言理解等领域。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

随着AI模型的广泛应用,需要进行推理计算的硬件日益增多,对推理芯片的需求也将“水涨船高”。国际数据公司(IDC)的报告显示,未来几年,推理端的AI服务器占比将持续攀升。预计到2027年,用于推理的工作负载将占据七成以上。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

科技公司竞推新产品cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

Cerebras、Groq和d-Matrix等初创公司,以及超威半导体公司(AMD)和英特尔等传统巨头,纷纷推出了AI推理芯片。这些公司敏锐捕捉到了AI推理芯片“大显身手”的契机。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据Cerebras公司官网报道,2024年8月28日,该公司推出了同名AI推理芯片。这款芯片在Llama 3.1-8B模型上实现了1800token/秒的推理速度;在Llama 3.1 70B上实现了450token/秒的推理速度,约是英伟达GPU推理速度的20倍。Token指AI处理文本的最小单元或基本元素,如一个单词、一个字符等。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

Cerebras公司解释说,这一卓越表现得益于其创新的AI芯片设计方案。其晶圆级引擎(WSE)宛如一座庞大的“计算工厂”,最大特点是尺寸惊人——单个芯片几乎占据了一整块晶圆的面积。在这个超大芯片上,计算单元和内存单元高度集成,形成一个密集的网格结构。这样的设计,让数据能在极短距离内,于计算单元和存储单元之间传输,从根本上降低了数据移动成本,解决了GPU推理无法避免的内存带宽瓶颈。此类大芯片能更快处理信息,从而在更短时间内给出答案。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

早在去年2月,Groq公司就发布了自己的AI推理芯片GroqCloud。它在Llama 3.1 70B模型上实现了250token/秒的推理服务,速度比GPU几乎提升了一个量级。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

去年11月19日,硅谷初创公司d-Matrix宣布,其首款AI推理芯片Corsair已开始出货,旨在提供聊天机器人和视频生成等服务。Corsair在单服务器环境下,能让Llama3 8B模型实现60000token/秒的处理能力,且每个token的延迟仅为1毫秒,充分彰显了其在高速处理大规模数据方面的卓越性能。更值得一提的是,与GPU及其他方案相比,Corsair能在提供同等性能的同时,大幅降低能耗和成本。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

应用开发走上新赛道cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

亚马逊、谷歌、元宇宙平台、微软等科技公司纷纷斥巨资,抢购昂贵的GPU,以期在AI开发赛道拔得头筹。与此同时,AI推理芯片制造商则将目光瞄准了更广泛的客户群体,希望能在这片新蓝海中大显身手。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这些潜在客户不乏那些渴望利用新兴的生成式AI技术,却又不想大费周章自建AI基础设施的财富500强企业。而且,购买AI推理芯片比从英伟达等公司购买GPU便宜。AI推理芯片旨在优化推理计算的速度与效率,尤其擅长智能建议、语音识别、自然语言处理等领域。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

业内专家称,一旦推理速度提升至每秒数千token,AI模型将能在眨眼之间完成复杂问题的思考与回答过程。这不仅能让现有应用的交互效率实现质的飞跃,还将带来一系列令人耳目一新的人机交互场景。例如,在语音对话领域,延时将被压缩至毫秒级,能实现近乎自然的对话体验;在虚拟现实/增强现实领域,AI将能实时生成和调整虚拟环境、角色对话以及交互逻辑,给用户带来个性化、沉浸式体验。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

随着ChatGPT横空出世,人工智能(AI)领域的竞争进入白热化。英伟达公司的高端图形处理单元(GPU)芯片“一飞冲天”,受到各大科技公司追捧。与此同时,也有一些初创公司另辟蹊径,专注于研制另一种芯片——AI推理芯片,为AI产品的蓬勃发展和应用注入全新动力。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据物理学家组织网近日报道,这些AI推理芯片旨在降低生成式AI所需的高昂计算成本,更贴合AI工具的日常运行要求。此类芯片成本的不断下探和性能的持续提升,有望掀起新一轮AI应用创新浪潮,让更多复杂且强大的AI应用走进千家万户。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

推理计算需求水涨船高cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

训练与推理,是AI大语言模型两大核心能力的坚固基石。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在应用过程中,经过训练的ChatGPT等生成式AI工具会吸纳新信息,从中进行推理并生成回应,如撰写文档、生成图像等。这类AI工具可应用于医疗诊断、自动驾驶、自然语言理解等领域。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

随着AI模型的广泛应用,需要进行推理计算的硬件日益增多,对推理芯片的需求也将“水涨船高”。国际数据公司(IDC)的报告显示,未来几年,推理端的AI服务器占比将持续攀升。预计到2027年,用于推理的工作负载将占据七成以上。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

科技公司竞推新产品cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

Cerebras、Groq和d-Matrix等初创公司,以及超威半导体公司(AMD)和英特尔等传统巨头,纷纷推出了AI推理芯片。这些公司敏锐捕捉到了AI推理芯片“大显身手”的契机。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据Cerebras公司官网报道,2024年8月28日,该公司推出了同名AI推理芯片。这款芯片在Llama 3.1-8B模型上实现了1800token/秒的推理速度;在Llama 3.1 70B上实现了450token/秒的推理速度,约是英伟达GPU推理速度的20倍。Token指AI处理文本的最小单元或基本元素,如一个单词、一个字符等。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

Cerebras公司解释说,这一卓越表现得益于其创新的AI芯片设计方案。其晶圆级引擎(WSE)宛如一座庞大的“计算工厂”,最大特点是尺寸惊人——单个芯片几乎占据了一整块晶圆的面积。在这个超大芯片上,计算单元和内存单元高度集成,形成一个密集的网格结构。这样的设计,让数据能在极短距离内,于计算单元和存储单元之间传输,从根本上降低了数据移动成本,解决了GPU推理无法避免的内存带宽瓶颈。此类大芯片能更快处理信息,从而在更短时间内给出答案。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

早在去年2月,Groq公司就发布了自己的AI推理芯片GroqCloud。它在Llama 3.1 70B模型上实现了250token/秒的推理服务,速度比GPU几乎提升了一个量级。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

去年11月19日,硅谷初创公司d-Matrix宣布,其首款AI推理芯片Corsair已开始出货,旨在提供聊天机器人和视频生成等服务。Corsair在单服务器环境下,能让Llama3 8B模型实现60000token/秒的处理能力,且每个token的延迟仅为1毫秒,充分彰显了其在高速处理大规模数据方面的卓越性能。更值得一提的是,与GPU及其他方案相比,Corsair能在提供同等性能的同时,大幅降低能耗和成本。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

应用开发走上新赛道cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

亚马逊、谷歌、元宇宙平台、微软等科技公司纷纷斥巨资,抢购昂贵的GPU,以期在AI开发赛道拔得头筹。与此同时,AI推理芯片制造商则将目光瞄准了更广泛的客户群体,希望能在这片新蓝海中大显身手。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这些潜在客户不乏那些渴望利用新兴的生成式AI技术,却又不想大费周章自建AI基础设施的财富500强企业。而且,购买AI推理芯片比从英伟达等公司购买GPU便宜。AI推理芯片旨在优化推理计算的速度与效率,尤其擅长智能建议、语音识别、自然语言处理等领域。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

业内专家称,一旦推理速度提升至每秒数千token,AI模型将能在眨眼之间完成复杂问题的思考与回答过程。这不仅能让现有应用的交互效率实现质的飞跃,还将带来一系列令人耳目一新的人机交互场景。例如,在语音对话领域,延时将被压缩至毫秒级,能实现近乎自然的对话体验;在虚拟现实/增强现实领域,AI将能实时生成和调整虚拟环境、角色对话以及交互逻辑,给用户带来个性化、沉浸式体验。cKA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-2-10172-0.htmlAI推理芯片激发新一轮应用创新

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

3月11日首发 保时捷Taycan高性能版预告
近日,保时捷官方发布了新款Taycan高性能版的预告,该车正是此前缔造纽北圈速7分07秒55原型车的量产版,该圈速比Taycan Turbo S快了26秒,比特斯拉Model S Plaid快了17.6秒。据此前消息,该车有望搭载三电机系统,最大功率超
将于3月11日全国交付 理想MEGA正式下线
2024年3月4日,理想汽车首款纯电动MPV——理想MEGA,在理想汽车北京绿色智能制造基地正式下线,并将在3月11日开启全国交付。该车已于3月1日正式上市,售价为55.98万元。作为理想的旗舰产品,这款车自曝光便获得了极高的关
高通:Ride智驾芯片获丰田、一汽红旗定点
近日,从相关渠道获悉,高通Ride智驾芯片近期拿到了丰田和一汽红旗的项目定点。此外,高通也在与国内其他头部车企接触。据悉,搭载高通芯片车型最快有望2024年年底量产,也有可能要等2025年才会生产。  据了解,高通Ride智
或618马力 新款Model 3高性能版信息曝光
近日,海外社交媒体上疑似泄露了特斯拉Model 3高性能版车型的相关参数,可以看到,新车后电机将提升至412马力,综合最大功率将会达到612马力,续航预计430km左右。据悉,特斯拉或在近期公布高性能版车型的具体参数,同时有望正
首次向社会发布!最高检“四大检察”白皮书全景盘点2023年工作
21世纪经济报道记者王峰北京报道 3月9日,最高人民检察院举行“推动‘四大检察’高质量发展,更好服务中国式现代化”新闻发布会,首次向社会发布2023年刑事检察、民事检察、行政检察、公
将新增插混版本 全系别克GL8清晰谍照
近日,从相关渠道得到了一组全新别克GL8的清晰测试谍照,为我们提前揭秘新一代车型的样貌,据悉,新一代GL8除了纯燃油版,还有望推出插混版本,将与腾势D9等中国品牌MPV展开竞争。『全新别克GL8谍照』  外观方面,全新别克GL

热点精选

最新推荐

您可能感兴趣