AMDRyzenAICPU和Radeon7000GPU可以使用LLM运行本地化聊天机器人就像NVIDIA的RTX聊天一样

AMDRyzenAICPU和Radeon7000GPU可以使用LLM运行本地化聊天机器人，就像NVIDIA使用RTX1的聊天一样继NVIDIA推出ChatwithRTX之后，AMD现在为用户提供自己的本地化且基于GPT的LLM支持的AI聊天机器人，该机器人可以在RyzenAICPU和Radeon7000GPU上运行。

NVIDIA与RTX的聊天有了竞争对手，AMD推出了自己的本地化LLM驱动的聊天机器人，可以在RyzenAICPU和Radeon7000GPU上运行

上个月，NVIDIA推出了“与RTX聊天”AI聊天机器人，该机器人可在RTX40和RTX30GPU上使用，并通过TensorRT-LLM功能集进行加速，该功能集根据您提供的数据提供更快的GenAI结果。PC或其他术语，本地化数据集。现在，AMD正在提供自己的基于LLM的GPT聊天机器人，该机器人可以在各种硬件上运行，例如RyzenAIPC，其中包括具有XDNANPU的Ryzen7000和Ryzen8000APU以及具有AI加速器核心的最新Radeon7000GPU。

相关报道AMDRyzen97900X3D现已上市，售价389美元，12个Zen4核心，带3DV-CacheBoost

AMD发布了一篇博客，其中提供了有关如何利用其硬件运行由基于GPT的LLM(大型语言模型)支持的您自己的本地化聊天机器人的设置指南。对于AMDRyzenAICPU，您可以获得适用于Windows的标准LMStudio副本，而RadeonRX7000GPU则可以获得ROCm技术预览版。完整指南分享如下：

1.下载正确版本的LMStudio：

适用于AMD锐龙处理器 适用于AMDRadeonRX7000系列显卡

LMStudio-Windows LMStudio–ROCm技术预览

2.运行该文件。

3.在搜索选项卡中，根据您要运行的内容复制并粘贴以下搜索词：

A。如果您想运行Mistral7b，请搜索：“TheBloke/OpenHermes-2.5-Mistral-7B-GGUF”并从左侧结果中选择它。它通常是第一个结果。在这个例子中我们将使用米斯特拉尔。

b.如果您想运行LLAMAv27b，请搜索：“TheBloke/Llama-2-7B-Chat-GGUF”并从左侧结果中选择它。它通常是第一个结果。

C。您还可以在这里尝试其他模型。

4.在右侧面板上，向下滚动直至看到Q4KM模型文件。单击下载。

A。对于RyzenAI上的大多数型号，我们推荐Q4KM。等待它完成下载。

5.转到聊天选项卡。从顶部中心的中央下拉菜单中选择模型，然后等待其完成加载。

6.如果您有AMDRyzenAIPC，您就可以开始聊天了!

A。如果您有AMDRadeon显卡，请：

我。检查右侧面板上的“GPU卸载”。

二.将滑块一直移动到“最大”。

三.确保AMDROCm显示为检测到的GPU类型。

四.开始聊天!

如果设置得当，拥有由人工智能驱动的本地化聊天机器人可以使生活和工作相对更轻松。您可以高效地完成工作，并根据您的查询和LLM所针对的数据路径获得正确的结果。NVIDIA和AMD正在加快消费级硬件的人工智能功能的步伐，这只是一个开始，随着人工智能PC领域达到新的高度，预计未来会有更多创新。