免费跑AI模型

前言

老资历的我已经好久没有在这里发文章了，今天算大发慈悲分享一下罢（bushi

这次我们用AMD的算力来跑一个AI，GPT-OSS-120B

铸币们抓紧关注我的博客：刚重建的博客

准备的东西

一个邮箱

然后没有然后了

注册账号

打开AMD开发者，点击Create Account创建账号：

然后进入加入AMD开发者计划，这里除了邮箱其余的可以随便填写。

然后点击join注册，然后你的邮箱会收到Access Token，然后填入Token，设置一个自己的密码就成功注册了。

NoteBook

嗯对，就叫这个名，注册完之后打开AMD的恩情还不完，点击Sign in with AMD AI Developer Program并填入刚创建的账号收验证码。登录后呢，你就进入了AI academy，此时呢，我们选择LLM Serving Inference with vLLM and MI300X GPUs右边的Request Notebook启动机器，此时等一会就会进入了，如果登录快两分钟都没有进入的宝宝请刷新然后点击Stop Session停止机器直至成功进入。进入后的宝宝们看到的画面是这样的：

此时，你就成功创建你的机器了，注意了：这些机器破天荒也只有两个小时的运行时间，请尽快使用。此时我们复制export TP=1里面的代码然后添加上面的加号，选择Terminal终端进入。

然后此时等一阵子直到显示下面的代码就代表部署成功，此时我们再新建一个终端来跟模型对话

INFO:     Waiting for application startup.
INFO:     Application startup complete.

在新建的终端中，粘贴下面的代码来跟模型对话：

curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model":"openai/gpt-oss-120b",
  "messages":[
    {
      "role":"user",
      "content":"你要对话的内容"
    }
  ]
}'

显示下面的代表回复成功：

分别显示思考内容和思考后的内容，此时你就可以用了。高阶的玩家可以自行部署更多模型，比如视频生成模型、音频生成模型，这里的显卡是AMD Instinct MI300，完全够一些场景。

尾句

扩列！QQ2647682805，有问题可以在评论区和QQ问我。