Memo/run-vllm-as-a-systemd-service

1 分钟阅读

vLLM 部署为 systemd 服务

创建 systemd unit,将 vLLM 部署为后台服务。

配置 vLLM 环境,并且让他随着系统自启动

安装环境:

mkdir my-vllm
cd my-vllm

uv init
uv add vllm

编写 service 文件:

# vim /etc/systemd/system/vllm.service

[Unit]
Description=vLLM
After=network.target
Wants=network.target

[Service]
Type=simple
Environment=HF_ENDPOINT=https://hf-mirror.com
WorkingDirectory=/opt/vllm
ExecStart=uv run vllm serve "Qwen/Qwen3-Embedding-0.6B"
Restart=always
RestartSec=10
User=user
Group=user

[Install]
WantedBy=multi-user.target

vLLM,启动!

systemctl daemon-reload
systemctl enable --now vllm

默认端口

相关阅读

Memo关闭侧信道攻击缓解,make Linux great again!Memotime-warp-test.c: check TSC synchronity on x86 CPUsMemo通过 SSH 迁移 btrfs volumes

讨论

邮箱用于身份识别和回复通知,并由 Waline 存储。