Memo/run-vllm-as-a-systemd-service

1 分钟阅读

vLLM 部署为 systemd 服务

创建 systemd unit,将 vLLM 部署为后台服务。

配置 vLLM 环境,并且让他随着系统自启动

安装环境:

mkdir my-vllm
cd my-vllm

uv init
uv add vllm

编写 service 文件:

# vim /etc/systemd/system/vllm.service

[Unit]
Description=vLLM
After=network.target
Wants=network.target

[Service]
Type=simple
Environment=HF_ENDPOINT=https://hf-mirror.com
WorkingDirectory=/opt/vllm
ExecStart=uv run vllm serve "Qwen/Qwen3-Embedding-0.6B"
Restart=always
RestartSec=10
User=user
Group=user

[Install]
WantedBy=multi-user.target

vLLM,启动!

systemctl daemon-reload
systemctl enable --now vllm

默认端口

相关阅读

文章Linux 下的 CPU Idle 行为详解:从 idle=poll 到 C-State文章gperftools 什么时候把内存还给操作系统MemoFedora 44 的 RXE 无法注册 1 GiB MR

讨论

邮箱用于身份识别和回复通知,并由 Waline 存储。