Memo/run-vllm-as-a-systemd-service
1 分钟阅读
vLLM 部署为 systemd 服务
创建 systemd unit,将 vLLM 部署为后台服务。
配置 vLLM 环境,并且让他随着系统自启动
安装环境:
mkdir my-vllm cd my-vllm uv init uv add vllm
编写 service 文件:
# vim /etc/systemd/system/vllm.service [Unit] Description=vLLM After=network.target Wants=network.target [Service] Type=simple Environment=HF_ENDPOINT=https://hf-mirror.com WorkingDirectory=/opt/vllm ExecStart=uv run vllm serve "Qwen/Qwen3-Embedding-0.6B" Restart=always RestartSec=10 User=user Group=user [Install] WantedBy=multi-user.target
vLLM,启动!
systemctl daemon-reload systemctl enable --now vllm
默认端口
讨论
邮箱用于身份识别和回复通知,并由 Waline 存储。