如何在AMD锐龙AI处理器和Radeon显卡上运行OpenAI GPT-OSS 20B和120B模型
作者：微信文章在当今数字化时代，人工智能的发展可谓日新月异，强大的AI模型正逐渐成为人们工作与生活中的得力助手。近日，OpenAI推出了其首批开放权重的语言模型——GPT-OSS 20B和GPT-OSS 120B，为本地AI推理带来了前沿的能力。令人欣喜的是，AMD的锐龙AI处理器和Radeon显卡已全面准备好，为用户提供对这些模型的首日支持。这意味着，广大用户借助自己的个人电脑，便能轻松运行先进的AI任务，而无需依赖数据中心的硬件设备。
01
OpenAI GPT-OSS模型简介
OpenAI此次发布的GPT-OSS 20B和120B语言模型意义非凡。其中，GPT-OSS 120B模型拥有1168亿个参数，包含51亿个活跃参数，堪称庞然大物；而GPT-OSS 20B模型则有209亿个参数，活跃参数为36亿个 。这些模型专为本地AI处理而设计，通过OpenAI的授权合作伙伴LM Studio，用户可在兼容设备上便捷地访问和使用它们，开启本地AI应用的全新体验。
02
AMD锐龙AI处理器与Radeon显卡的支持情况
锐龙AI Max+ 395：运行GPT-OSS 120B的佼佼者AMD自豪地宣布，锐龙AI Max+ 395成为全球首款能够运行OpenAI GPT-OSS 120B模型的消费级AI PC处理器。此前，如此强大的模型往往只能在数据中心级别的硬件上运行，如今，锐龙AI Max+ 395改变了这一局面，让轻薄本也能拥有匹敌数据中心的AI处理能力。该处理器经过GGML转换后的MXFP4权重，大约需要61GB的显存，而锐龙AI Max+ 395恰好配备了96GB的独立显存，足以轻松容纳这些数据。不过，需要注意的是，用户必须安装AMD Software: Adrenalin Edition 25.8.1 WHQL或更高版本的驱动程序，才能成功解锁这一强大功能。在实际性能表现上，锐龙AI Max+ 395表现卓越，凭借其出色的内存带宽以及GPT-OSS 120B模型所采用的混合专家架构，它能够以高达每秒30个令牌的速度生成内容。不仅如此，锐龙AI Max+ 395（128GB）凭借其大内存优势，还全面支持该模型的模型上下文协议（MCP）实现，为用户带来更为流畅、高效的使用体验。锐龙AI 300系列处理器：驾驭GPT-OSS 20B模型对于使用AMD锐龙AI 300系列处理器的用户而言，虽然无法运行超大型的GPT-OSS 120B模型，但完全可以充分利用OpenAI提供的较小规模的GPT-OSS 20B模型。这一模型对硬件资源的需求相对较低，正好与锐龙AI 300系列处理器的性能特点相匹配，能够在该平台上稳定、高效地运行，为用户提供实用的本地AI服务。Radeon 9070 XT 16GB显卡：提升GPT-OSS 20B性能的利器为了在OpenAI GPT-OSS 20B模型中获得极致的性能体验，AMD建议用户在桌面系统中搭配使用Radeon 9070 XT 16GB显卡。这一组合堪称黄金搭档，不仅能够显著提升令牌生成速度，在每秒令牌生成数量上表现出色，还具备令人惊叹的首令牌生成时间（TTFT）优势。这意味着，在那些通常对计算能力要求极高、计算受限的场景中，使用模型上下文协议（MCP）实现20B模型的用户，将惊喜地发现该配置能够提供极高的TTFT响应性能，大大提高工作效率，为创意工作、科研计算等各类应用提供强大助力。
03
在AMD锐龙AI处理器和Radeon显卡上体验OpenAI的GPT-OSS 120B和20B模型的步骤
驱动程序更新首先，下载并安装AMD软件：Adrenalin Edition 25.8.1 WHQL驱动程序或更高版本。请务必注意，旧版驱动程序可能会导致性能降低，甚至缺失对这些新模型的支持，因此及时更新驱动至关重要。可变显存设置（仅针对锐龙AI处理器用户）如果您使用的是搭载AMD锐龙AI处理器的机器，需要进行如下操作：右键单击桌面，选择AMD软件：Adrenalin™ Edition，进入“性能”选项卡，再点击“调优”选项卡，找到“可变显存”设置项，然后请严格根据下方提供的规格表设置VGM。而如果您使用的是AMD Radeon显卡，则可以直接忽略此步骤，继续下一步操作。安装LM Studio在完成上述准备工作后，前往官方渠道下载并安装LM Studio软件。安装完成后，首次打开软件时可以跳过新用户引导培训环节，直接进入后续操作。下载模型进入LM Studio软件的“发现”选项卡（该选项卡通常以放大镜图标表示）。在搜索框中输入“gpt-oss”进行搜索。此时，您应该会在左侧看到一个带有“lm studio community ”前缀的选项。请根据您的硬件配置，仔细选择20B或120B版本（具体可参考下方矩阵中与您产品对应的版本），然后点击下载按钮，耐心等待模型下载完成。
模型加载与使用模型下载完成后，转到软件的聊天选项卡。点击聊天页面顶部的下拉菜单，从中选择OpenAI模型。这里务必注意，要点击勾选“手动加载参数”选项。将“GPU卸载”滑块一直拖动到“最大”位置，并检查记忆设置确保无误。点击“加载”按钮。如果您下载的是120B型号，由于模型数据量庞大，加载过程可能需要花费一些时间，并且加载进度条可能会出现短暂卡住的情况，这属于正常现象。因为大多数SSD的读取速度在数据传输初期会较快，但随着数据量的增加会有所下降，而120B模型容量巨大，数据迁移到内存的过程较为复杂。请耐心等待，待模型加载完成后，您就可以开始输入提示词，尽情享受强大的GPT-OSS模型为您带来的智能服务了。
产品支持矩阵
支持GPT-OSS 120B模型：锐龙AI MAX+ 395是目前唯一支持该模型的芯片，凭借其强大的硬件性能和大显存优势，为用户开启了运行超大型AI模型的新可能。
支持GPT-OSS 20B模型：包括Radeon RX 9000、Radeon AI PRO R9000以及显存不低于16GB的Radeon RX 7000系列显卡等，均可流畅运行GPT-OSS 20B模型。这些显卡在硬件规格上能够满足该模型的运行需求，为用户提供高效、稳定的本地AI推理环境。
AMD锐龙AI处理器和Radeon显卡对OpenAI GPT-OSS 20B和120B模型的支持，极大地拓展了本地AI应用的边界。无论您是AI开发者、科研人员，还是对AI充满好奇的普通用户，都可以借助这些强大的硬件，在个人电脑上体验先进的AI模型带来的便利与惊喜，开启属于自己的AI探索之旅。
页:
[1]