AMD发布首个AI小语言模型:6900亿token、推测解码提速3.88倍

2024-10-01 17:19:07来源:快科技编辑:时寒峰

扫一扫

分享文章到微信

扫一扫

关注鹿财经网微信公众号

  原标题:AMD发布首个AI小语言模型:6900亿token、推测解码提速3.88倍

  10月1日消息,AMD发布了自己的首个小语言模型(SLM),名为“AMD-135M”。

  相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。

  AMD-135小模型隶属于Llama家族,有两个版本:

AMD发布首个AI小语言模型:6900亿token、推测解码提速3.88倍

  一是基础型“AMD-Llama-135M”,拥有多达6700亿个token,在八块Instinct MIM250 64GB加速器上训练了六天。

  二是延伸型“AMD-Llama-135M-code”,额外增加了专门针对编程的200亿个token,同样硬件训练了四天。

  创建与部署流程

  它使用了一种名为“推测解码”(speculative decoding)的方法,通过较小的草稿模型,在单次前向传播中生成多个候选token,然后发送给更大的、更精确的目标模型,进行验证或纠正。

  这种方法可以同时生成多个token,不会影响性能,还可以降低内存占用,但因为数据交易更多,功耗也会增加。

  AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型,测试了推测解码使用与否的性能。

  比如在MI250加速器上,性能可提升最多约2.8倍,锐龙AI CPU上可提升最多约3.88倍,锐龙AI NPU上可提升最多约2.98倍。

  推测解码

  AMD-135M小模型的训练代码、数据集等资源都已经开源,遵循Apache 2.0。

  按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

     投稿邮箱:lukejiwang@163.com   详情访问鹿财经网:http://www.lucaijing.com.cn

相关推荐
360集团发布纳米AI智能体,开启高效搜索与分析新 360集团发布纳米AI智能体,开启高效搜索与分析新

原标题:360集团发布纳米AI智能体,开启高效搜索与分析新时代 360集团近期震撼

科技说2025-06-16

英伟达一季度独显市场称霸,份额高达92%!AMD、 英伟达一季度独显市场称霸,份额高达92%!AMD、

原标题:英伟达一季度独显市场称霸,份额高达92%!AMD、英特尔何去何从? 近

科技说2025-06-08

华为Pura 80系列6月11日震撼发布 华为Pura 80系列6月11日震撼发布

原标题:华为Pura 80系列6月11日震撼发布 华为近日宣布,其备受期待的Pura 80系列

科技说2025-06-03

清华90后创业者季宇发布“褐蚁”一体机,挑战 清华90后创业者季宇发布“褐蚁”一体机,挑战

原标题:清华90后创业者季宇发布褐蚁一体机,挑战AI算力市场 近日,北京行云

科技说2025-05-01

Meta发布独立AI助手Meta AI,社交融合新体验能否撼 Meta发布独立AI助手Meta AI,社交融合新体验能否撼

原标题:Meta发布独立AI助手Meta AI,社交融合新体验能否撼动ChatGPT地位? meta公

科技说2025-04-30

1秒充电不止1公里!小鹏发布5C超充AI电池:电驱 1秒充电不止1公里!小鹏发布5C超充AI电池:电驱

原标题:1秒充电不止1公里!小鹏发布5C超充AI电池:电驱效率行业第一 4月15日

科技说2025-04-15

奥尔特曼:OpenAI将在未来几个月发布GPT-5 能力比 奥尔特曼:OpenAI将在未来几个月发布GPT-5 能力比

原标题:奥尔特曼:OpenAI将在未来几个月发布GPT-5 能力比预期的要好 当地时间

科技说2025-04-05

全球首个通用智能人“通通”实现升级:认知相 全球首个通用智能人“通通”实现升级:认知相

原标题:全球首个通用智能人通通实现升级:认知相当于5至6岁儿童 3月30日消息

科技说2025-03-30

华为清华联手发布语言模型推理专利,助力AI精准 华为清华联手发布语言模型推理专利,助力AI精准

原标题:华为清华联手发布语言模型推理专利,助力AI精准避雷预设内容 近期,

科技说2025-03-25

华为Pura X竖向阔折叠新机发布,起价7499元 华为Pura X竖向阔折叠新机发布,起价7499元

原标题:华为Pura X竖向阔折叠新机发布,起价7499元 华为近日震撼发布其最新力

科技说2025-03-20