一、概述本文档记录了在 GPU 服务器上部署 NInfer 推理引擎、加载 Qwen3.8-27B-NVFP4 大模型、并以 OpenAI 兼容 API 提供服务的完整过程。系统已成功部署并通过实测验证由 systemd 托管并设置开机自启。二、机器配置2.1 硬件项目 配置主机名 guoxizheng-SystemIP 地址 192.168.50.10GPU 2 × NVIDIA Tesla V100-SXM2-16GB (16 GB 显存/卡, 共32GB)GPU 互联 PCIe (PHB)无 NVLinkCPU x86_64 (多核, 支持 AVX2)内存 15 GiB交换分区 4.0 GiB磁盘 约 275 GB 可用系统分区 /网卡 enp0s31f6 (有线, 千兆) wlp6s0 (无线)2.2 软件环境组件 版本/说明操作系统 Ubuntu 24.04 (noble)内核 6.8.0-147-genericGPU 驱动 NVIDIA 580.178.04CUDA Toolkit 12.8 (V12.8.93)安装于 /usr/local/cuda-12.8CUDA 架构目标 sm_70 (Volta)构建工具 CMake 3.28.3, Ninja 1.11.1, gcc/g 13, pkg-configFFmpeg 6.1.1 (libavformat 60.16.100 等)libcurl 8.5.0 (libcurl4-openssl-dev)Python 3.12.3CUDA 运行时 libcudart.so.12重要约束本机 GPU 为 Volta 架构 (sm_70)不支持 BF16 硬件运算必须使用 FP16/NVFP4 量化CUDA 13 已移除 Volta 编译支持因此必须使用 CUDA 12.8。三、参考网址 NInfer-V100-Duo 仓库双 V100 专用推理引擎https://github.com/plus1998/NInfer-V100-Duo 模型 Qwen3.8-27B-NVFP4-NInfer (23.7GB)https://huggingface.co/neroued/Qwen3.8-27B-nvfp4-NInfer 模型国内镜像 (hf-mirror)https://hf-mirror.com/neroued/Qwen3.8-27B-nvfp4-NInfer CUTLASS (GPU 算子库, v4.4.2)https://github.com/NVIDIA/cutlass CUDA 12.8 官方源 (Ubuntu 24.04)https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/ 清华镜像 (Ubuntu apt)https://mirrors.tuna.tsinghua.edu.cn/ubuntu FFmpeg 源码https://ffmpeg.org/releases/四、安装步骤以下步骤在 GPU 服务器 192.168.50.10 上以 ocadmin 用户执行。SSH 示例ssh ocadmin192.168.50.10步骤 1安装基础构建工具sudo apt-get updatesudo apt-get install -y cmake ninja-build git curl pkg-config步骤 2接入 CUDA 12.8 官方源 并 安装 Toolkit注意必须装 12.8不能装 1313 不支持 Volta/sm_70 编译。本机制造驱动 580.178.04 对应 CUDA 13.0 运行时但 nvcc 单独装 12.8 即可并存。添加 NVIDIA CUDA 官方源curl -sL -o /tmp/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.debsudo dpkg -i /tmp/cuda-keyring.debsudo apt-get update安装 CUDA 12.8 Toolkit (不含驱动)sudo apt-get install -y cuda-toolkit-12-8验证 nvcc/usr/local/cuda-12.8/bin/nvcc --version步骤 3安装系统开发库FFmpeg / curl / openssl / zlib本机网络访问 ffmpeg.org / GitHub 等国外源不稳定因此使用 Ubuntu 系统自带的库替代源码编译避免在源码下载环节卡死。sudo apt-get install -y ffmpeg libavformat-dev libavcodec-dev libavutil-dev libswscale-dev libswresample-devsudo apt-get install -y libcurl4-openssl-devpkg-config --modversion libavformat libavcodec libavutil libswscale libcurl步骤 4下载 CUTLASS v4.4.2GPU 算子库CUTLASS 为 header-only 库。因 GitHub 连接不稳定提前手动下载好源码包。mkdir -p ~/ninfer_modelscurl -sL -o ~/ninfer_models/cutlass.tar.gz https://codeload.github.com/nvidia/cutlass/tar.gz/refs/tags/v4.4.2mkdir -p ~/ninfer_models/cutlass-extract tar -xzf ~/ninfer_models/cutlass.tar.gz -C ~/ninfer_models/cutlass-extract解压后目录: ~/ninfer_models/cutlass-extract/cutlass-4.4.2步骤 5下载模型 Qwen3.8-27B-NVFP4模型为 .ninfer 格式约 23.7 GB可走国内镜像 hf-mirror速度快、稳定。export HF_ENDPOINThttps://hf-mirror.comcurl -C - -sL -o ~/ninfer_models/qwen3_8_27b_nvfp4.ninfer https://hf-mirror.com/neroued/Qwen3.8-27B-nvfp4-NInfer/resolve/main/qwen3_8_27b_nvfp4.ninferstat -c %s ~/ninfer_models/qwen3_8_27b_nvfp4.ninfer # 应等于 23719715844步骤 6克隆 NInfer 仓库cd ~ git clone --depth 1 https://github.com/plus1998/NInfer-V100-Duo.gitcd NInfer-V100-Duo步骤 7CMake 配置使用系统库 nvcc 12.8注意跳过仓库自带的 build_dependencies.sh它会去下 ffmpeg/curl 源码网络不稳易卡。改用系统已装好的库并把 CUTLASS 指向本地源码。cd ~/NInfer-V100-Duocmake -S . -B build-v100-duo -G Ninja -DCMAKE_BUILD_TYPERelease-DCMAKE_CUDA_COMPILER/usr/local/cuda-12.8/bin/nvcc-DCMAKE_CUDA_ARCHITECTURES70-DBUILD_TESTINGOFF -DNINFER_BUILD_BENCHMARKSOFF-DFETCHCONTENT_SOURCE_DIR_CUTLASS~/ninfer_models/cutlass-extract/cutlass-4.4.2步骤 8编译引擎cd build-v100-duoninja ninfer ninfer-serve -j 8编译成功后生成 build-v100-duo/apps/ninfer约 347 MB build-v100-duo/apps/ninfer-serve约 349 MB步骤 9配置 systemd 服务开机自启 失败重启服务以 ocadmin 用户运行监听 0.0.0.0:8080局域网可访问上下文 8192。sudo tee /etc/systemd/system/ninfer.service /dev/null “UNIT”[Unit]DescriptionNInfer V100 Duo - Qwen3.8-27B-nvfp4 engine serverAfternetwork.target[Service]TypesimpleUserocadminWorkingDirectory/home/ocadmin/NInfer-V100-DuoExecStart/home/ocadmin/NInfer-V100-Duo/build-v100-duo/apps/ninfer-serve /home/ocadmin/ninfer_models/qwen3_8_27b_nvfp4.ninfer --tp 2 --devices 0,1 --host 0.0.0.0 --port 8080 --max-context 8192Restarton-failureRestartSec10StandardOutputappend:/home/ocadmin/ninfer_serve.logStandardErrorappend:/home/ocadmin/ninfer_serve.log[Install]WantedBymulti-user.targetUNITsudo systemctl daemon-reloadsudo systemctl enable ninfer.servicesudo systemctl start ninfer.service步骤 10验证服务systemctl status ninfer.service # 应显示 active (running)curl -s http://127.0.0.1:8080/v1/modelscurl -s -X POST http://127.0.0.1:8080/v1/chat/completions-H “Content-Type: application/json”-d ‘{“model”:“qwen3.8-27b”,“messages”:[{“role”:“user”,“content”:“你好请自我介绍”}],’“max_tokens”:50}’五、服务管理与常用命令 查看服务状态systemctl status ninfer.service 查看日志tail -f /home/ocadmin/ninfer_serve.log 重启服务sudo systemctl restart ninfer.service 停止服务sudo systemctl stop ninfer.service 开机自启设置sudo systemctl enable ninfer.service 开机自启取消sudo systemctl disable ninfer.service六、API 使用说明服务提供 OpenAI 兼容接口地址为 http://192.168.50.10:8080。支持端点 /v1/models —— 列出可用模型 /v1/chat/completions —— 对话补全 /v1/responses —— OpenAI Responses 接口 Anthropic Messages 兼容端点模型 IDqwen3.8-27bauth 已禁用无需真实 API Key配置 Chatbox 客户端 模型提供方OpenAI API API 域名 / Base URLhttp://192.168.50.10:8080/v1 API Key任意如 sk-123456服务不校验 模型名称qwen3.8-27b七、常见问题与说明 没有 NVLink 的影响NInfer 专为双 V100 NVLink 设计。本机无 NVLink运行时会检测到 P2P 不可用自动降级为 CPU 中介的跨卡通信CUDA host-staged copies。功能正常但双卡协同性能相比 NVLink 有折扣。日志见 “direct P2P disabled”。 首次对话慢模型加载约需 40~50 秒服务启动后的首次推理有预热延迟属正常。 显存不足当前 max-context 8192 下加载后每卡剩余约 4.2 GiB。若需更大上下文需谨慎详见日志中 KV capacity 提示。 CUDA 版本冲突必须使用 CUDA 12.8 编译sm_70CUDA 13 会直接 FATAL_ERROR。系统驱动为 580.178.04CUDA 13 运行时与 nvcc 12.8 可并存。 网络下载不稳本机访问 GitHub / ffmpeg.org / nvidia 官方源不稳建议模型走 hf-mirror库走 apt 国内镜像清华CUTLASS 提前下载好源码。 改监听地址/端口修改 /etc/systemd/system/ninfer.service 中 ExecStart 的 --host / --port然后 systemctl daemon-reload systemctl restart ninfer.service。