1. 项目概述为什么要在openEuler上部署ChatGLM2最近接手了一台全新的服务器任务很明确从零开始在openEuler操作系统上完整部署一个能跑起来的ChatGLM2-6B大模型。这听起来像是一个标准的“环境搭建”任务但实际操作下来你会发现它远不止是敲几行命令那么简单。它更像是一个系统工程串联起了国产操作系统适配、Python环境治理、大模型部署优化以及生产环境稳定性保障等多个环节。对于很多刚接触大模型部署的开发者或者从Ubuntu/CentOS转向openEuler的运维人员来说这个过程充满了“坑”。网上教程很多但大多是基于Ubuntu的在openEuler上直接套用经常会遇到依赖库不兼容、编译失败、性能不佳甚至根本跑不起来的问题。我这个流程就是基于多次实战踩坑后总结出来的“避坑指南”目标是给你一份开箱即用、逻辑清晰的部署手册。这个流程能帮你解决什么核心就三点第一在openEuler系统上搭建一个纯净、可控、易于维护的Python深度学习环境。第二成功下载并运行ChatGLM2-6B模型实现本地对话。第三理解部署过程中的关键配置和优化点为后续的微调、API服务化打下坚实基础。无论你是想学习大模型技术还是需要为团队搭建一个内部的AI能力底座这篇从零到一的实践记录都值得你参考。2. 整体部署思路与架构设计部署一个大模型尤其是像ChatGLM2-6B这样的“大家伙”不能上来就pip install。我们需要一个清晰的蓝图把整个系统拆解成几个松耦合、可管理的部分。我的整体思路遵循“环境隔离 - 核心依赖 - 模型获取 - 应用验证”的路径。2.1 为什么选择openEuler Conda PyTorch的技术栈首先看基础操作系统。我选择openEuler一方面是出于对国产化技术栈的探索和适配需求另一方面openEuler作为一款企业级Linux发行版在安全性、稳定性和对新兴硬件如昇腾AI处理器的支持上做得不错。它基于RHEL体系使用yum/dnf包管理器对于习惯了CentOS的用户来说迁移成本较低。但需要注意的是其软件仓库中的部分库版本可能较保守这是我们后续需要手动解决依赖的主要原因。Python环境管理是重中之重。大模型依赖复杂且经常需要特定版本的PyTorch、CUDA等。直接在系统Python里安装会导致依赖污染和版本冲突未来几乎无法维护。因此使用Miniconda创建独立的虚拟环境是绝对必要的。这相当于为你的ChatGLM2项目建立一个专属的“沙箱”与系统及其他项目完全隔离。深度学习框架方面PyTorch是当前大模型生态的事实标准ChatGLM2也是基于PyTorch实现的。我们的核心任务就是安装与你的显卡驱动匹配的PyTorch版本。这里的关键在于匹配CUDA版本如果服务器没有NVIDIA显卡纯CPU运行则需要安装CPU版本的PyTorch但推理速度会非常慢。最后是模型本身。ChatGLM2-6B模型文件大约12GB直接从Hugging Face或ModelScope下载是常规操作。考虑到国内网络环境提前准备好模型文件或者使用镜像源是加速部署的关键一步。2.2 部署流程全景图整个部署可以划分为四个主要阶段它们之间存在清晰的依赖关系系统基础环境准备包括更新系统、安装必要的开发工具包如gcc, cmake、配置网络和防火墙。这是所有后续工作的地基。Python与CUDA环境搭建安装Miniconda创建虚拟环境并根据显卡情况安装对应版本的PyTorch和CUDA Toolkit。这是模型能够运行的计算核心。模型下载与推理环境配置下载ChatGLM2-6B模型权重和源码安装模型运行所需的特定Python依赖库如transformers, cpm-kernels, sentencepiece等。模型运行测试与基础优化编写一个简单的推理脚本测试模型是否能正常完成对话。在此基础上进行初步的性能优化如启用半精度fp16、量化int8/int4或者使用更快的推理后端如vLLM。这个流程的优势在于模块化。每个阶段都可以独立验证遇到问题时可以快速定位到是系统层、环境层还是应用层的问题。3. 第一阶段openEuler服务器基础环境准备拿到一台崭新的openEuler服务器第一步不是急着装Python而是要把系统基础打牢。很多后续编译错误和依赖缺失问题都是因为这一步没做到位。3.1 系统更新与基础工具安装首先通过SSH登录你的服务器。假设你已经有root权限或者具有sudo权限的普通用户。第一步更新系统软件包到最新版本这能确保你获得最新的安全补丁和软件源信息。sudo dnf update -y更新完成后我们需要安装一系列编译和开发工具。这些工具是后续从源码编译某些Python包比如transformers库中可能用到的本地扩展所必需的。sudo dnf groupinstall -y “Development Tools” sudo dnf install -y cmake git wget curl openssl-devel bzip2-devel libffi-devel sqlite-develDevelopment Tools这是一个软件包组包含了gcc、g、make、autoconf等一整套编译工具链。cmake许多C/C项目使用CMake作为构建系统。git用于克隆模型仓库和代码。openssl-devel,libffi-develPython的pip和某些加密相关库如cryptography在安装时可能需要这些头文件。3.2 网络与安全配置考量在部署大模型应用前需要考虑网络访问。如果你只是本地测试可以暂时忽略。但如果后续需要提供API服务则需要配置防火墙。openEuler默认可能使用firewalld。查看防火墙状态并开放必要端口例如如果你计划在5000端口启动一个Web demosudo systemctl status firewalld # 如果防火墙开启并需要开放端口 sudo firewall-cmd --permanent --add-port5000/tcp sudo firewall-cmd --reload注意在生产环境中强烈建议不要直接向公网开放大模型服务的端口。应通过Nginx反向代理、配置SSL证书、设置访问认证如API Key等多层安全措施进行保护。本地测试时也可仅绑定到127.0.0.1地址。另外如果你的服务器需要通过代理访问外网以下载模型需要配置curl和git的代理export http_proxyhttp://your-proxy:port export https_proxyhttp://your-proxy:port git config --global http.proxy http://your-proxy:port git config --global https.proxy http://your-proxy:port请将your-proxy:port替换为你的实际代理地址。4. 第二阶段Python与CUDA环境精准搭建基础系统就绪后我们进入核心环节构建一个专为ChatGLM2服务的Python环境。这一步的准确性直接决定了模型能否成功运行。4.1 使用Miniconda创建独立环境我倾向于使用Miniconda它比完整的Anaconda更轻量。我们直接从清华镜像源下载安装速度更快。wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda3安装完成后将conda加入当前shell的环境变量中echo ‘export PATH“$HOME/miniconda3/bin:$PATH”’ ~/.bashrc source ~/.bashrc现在可以创建我们的专属环境了。我指定Python 3.10这是一个在兼容性和新特性之间比较平衡的版本。conda create -n chatglm2 python3.10 -y conda activate chatglm2激活环境后你的命令行提示符前应该会出现(chatglm2)这表示你已经在虚拟环境中了。之后所有的pip install操作都只影响这个环境。4.2 PyTorch与CUDA的版本匹配实战这是最关键也最容易出错的一步。首先你需要确认服务器显卡的CUDA驱动版本。nvidia-smi在命令输出的右上角你会看到类似“CUDA Version: 12.2”的信息。这指的是驱动支持的最高CUDA运行时版本。记住这个版本号比如12.2。然后前往 PyTorch官网 根据你的CUDA驱动版本选择安装命令。例如对于CUDA 12.1官网可能推荐pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121但这里有个巨坑PyTorch的CUDA版本cu121指的是其预编译二进制文件所依赖的CUDA运行时库CUDA Toolkit版本它必须小于等于你的NVIDIA驱动支持的CUDA版本。通常安装比驱动支持版本低1-2个小版本的PyTorch是安全的。更稳妥的做法是在虚拟环境中安装一个与你的驱动兼容的CUDA Toolkit。例如驱动是12.2我们可以安装CUDA 11.8 Toolkit然后安装对应版本的PyTorch。# 在conda环境中安装cudatoolkitconda会自动处理依赖 conda install cudatoolkit11.8 -c nvidia # 然后安装对应CUDA 11.8的PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118验证安装是否成功python -c “import torch; print(torch.__version__); print(torch.cuda.is_available())”如果输出True恭喜你GPU环境配置成功。如果服务器没有NVIDIA GPU则只能安装CPU版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu实操心得我强烈建议在安装PyTorch前先通过conda install cudatoolkitx.x来固定CUDA运行时环境。这比单纯依赖pip install torch时系统去查找全局CUDA要可靠得多能极大避免libcudart.so找不到之类的动态链接库错误。5. 第三阶段ChatGLM2模型获取与依赖安装环境准备好了现在可以把“主角”请上台了。我们需要获取模型权重和源代码。5.1 从国内镜像高效下载模型ChatGLM2-6B的模型文件托管在Hugging Face和国内的ModelScope上。从ModelScope下载通常对国内网络更友好。首先安装ModelScope的库pip install modelscope然后在Python脚本中下载模型。这里我推荐创建一个单独的download_model.py脚本因为下载过程可能较长脚本化更可控。# download_model.py from modelscope import snapshot_download model_dir snapshot_download(‘ZhipuAI/chatglm2-6b’, cache_dir‘./model’) print(f’Model downloaded to: {model_dir}‘)运行这个脚本python download_model.py模型会被下载到当前目录下的model文件夹中大约需要12GB磁盘空间。如果下载中断可以重新运行脚本它会自动续传。5.2 安装模型运行所需的特定依赖ChatGLM2-6B除了需要标准的transformers库还需要一些特定的依赖来支持其独特的代码实现和分词器。首先我们克隆官方仓库以获取最新的示例代码和可能的需求文件git clone https://github.com/THUDM/ChatGLM2-6B.git cd ChatGLM2-6B查看项目根目录下的requirements.txt文件里面列出了核心依赖。我们使用pip安装pip install -r requirements.txt这个requirements.txt通常会包含transformers4.30.2 Hugging Face的核心库。cpm-kernels 清华大学开源的用于加速模型中线性层计算的高效内核对性能提升有帮助。sentencepiece 用于分词的非Python依赖的Python封装需要系统有protobuf编译器我们之前安装的开发工具已涵盖。gradio 如果你想运行官方提供的Web UI演示。mdtex2html 用于Web UI中Markdown渲染。注意事项在安装过程中你可能会遇到某些包如accelerate,ninja的编译错误。这通常是因为系统缺少更细粒度的开发库。例如如果报错与libstdc有关可以尝试sudo dnf install libstdc-static。遇到编译错误时仔细阅读错误信息缺失什么就通过dnf search和dnf install来补充对应-devel包。6. 第四阶段模型推理测试与基础优化模型和依赖都齐备了是时候点燃引擎看看它能否正常工作了。我们从最简单的命令行交互开始。6.1 编写与运行基础推理脚本官方仓库提供了cli_demo.py等示例但为了彻底理解流程我们可以自己写一个最简化的版本。创建一个infer_simple.py文件# infer_simple.py from transformers import AutoTokenizer, AutoModel import torch # 指定模型路径指向你下载的模型目录 model_path “./model/ZhipuAI/chatglm2-6b” # 请根据实际路径修改 # 加载tokenizer和模型 tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) # 使用GPU并设置为bfloat16半精度以节省显存 model AutoModel.from_pretrained(model_path, trust_remote_codeTrue).cuda().bfloat16() # 将模型设置为评估模式 model model.eval() # 进行多轮对话测试 history [] print(“ChatGLM2-6B 已加载请输入您的问题输入’clear’清空历史输入’stop’退出:”) while True: query input(“\n用户: “) if query “stop”: break if query “clear”: history [] print(“历史已清空。”) continue # 流式输出响应 print(“ChatGLM2: “, end“”, flushTrue) response, history model.chat(tokenizer, query, historyhistory) # 注意上面的chat方法内部已实现流式这里打印完整结果。若要逐字流式需使用stream_chat方法。 print(response)运行这个脚本python infer_simple.py如果一切顺利你会看到模型加载信息加载分词器、加载模型权重等然后出现提示符。输入一个问题比如“你好”模型应该会生成一段友好的回复。这标志着最核心的部署流程已经跑通。6.2 显存优化与量化实践对于6B参数量的模型使用完整的FP32精度推理需要超过20GB的显存这对于大多数消费级显卡是不可承受的。因此优化显存使用是部署的必修课。1. 半精度BF16/FP16我们在加载模型时已经使用了.bfloat16()这是最简单有效的显存减半方法且对精度损失很小。A100、RTX 30/40系列等较新GPU都支持BF16。2. 量化Quantization将模型权重从高精度如FP16转换为低精度如INT8/INT4能大幅减少显存占用和加速推理。Hugging Face的transformers库与bitsandbytes库集成可以轻松实现8位或4位量化。首先安装bitsandbytes注意它可能需要编译pip install bitsandbytes然后修改模型加载方式使用8位量化# 修改infer_simple.py中的模型加载行 model AutoModel.from_pretrained( model_path, trust_remote_codeTrue, load_in_8bitTrue, # 启用8位量化 device_map“auto” # 自动分配模型层到可用设备多卡或CPU卸载 ).eval() # 注意使用量化后不要再调用.cuda()和.bfloat16()使用load_in_8bitTrue后显存占用可能降至8GB左右使得在RTX 4070等显卡上运行成为可能。4位量化load_in_4bitTrue可以压到更低但对精度影响更大需要根据任务测试。3. 使用vLLM等高性能推理后端如果你的目标是高并发、低延迟的API服务那么使用专门优化的推理引擎如vLLM或TGIText Generation Inference是更好的选择。它们通过PagedAttention等技术极大地提高了吞吐量。但这需要额外的安装和配置属于进阶优化范畴。常见问题实录在加载量化模型时可能会报错‘bitsandbytes’ module has no attribute ‘xxx’。这通常是因为bitsandbytes编译版本与你的CUDA版本不匹配。解决方法是尝试从源码编译bitsandbytesgit clone https://github.com/TimDettmers/bitsandbytes.git cd bitsandbytes # 根据你的CUDA版本修改CUDA环境变量例如 export CUDA_HOME/usr/local/cuda-11.8 pip install -e .7. 部署过程常见问题排查与解决即使按照步骤操作也难免会遇到各种问题。这里我整理了从系统层到应用层可能遇到的典型错误及其解决方案。7.1 依赖与编译类错误问题1安装transformers或sentencepiece时编译失败提示g: fatal error: Killed signal terminated program cc1plus。原因这通常是服务器内存不足导致的。编译某些C扩展时如果可用内存特别是Swap空间太小系统会终止编译进程。解决检查内存和Swapfree -h。如果Swap很小或为0可以临时增加一个Swap文件sudo fallocate -l 4G /swapfile # 创建4G文件 sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 如需永久生效需写入/etc/fstab或者在pip安装时使用--no-build-isolation选项并确保已安装所有-devel包减少编译时的内存压力。问题2运行模型时报错ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory。原因PyTorch找不到对应版本的CUDA运行时库。虽然通过conda安装了cudatoolkit但环境变量可能未正确设置。解决确认conda环境中已安装cudatoolkitconda list | grep cudatoolkit。Conda环境下的CUDA库路径通常在$CONDA_PREFIX/lib。可以手动添加该路径到动态链接库搜索路径export LD_LIBRARY_PATH$CONDA_PREFIX/lib:$LD_LIBRARY_PATH将这行命令添加到你的~/.bashrc或虚拟环境的激活脚本中使其永久生效。7.2 模型加载与运行类错误问题3加载模型时警告或报错提示skipping because of function ‘…’或速度极慢。原因ChatGLM2使用了自定义的CUDA内核如cpm_kernels来加速。首次运行时系统需要对这些内核进行JIT即时编译这会消耗一些时间并可能因为环境问题而失败或回退到慢速的纯PyTorch实现。解决确保cpm-kernels库已正确安装。检查CUDA环境是否正常torch.cuda.is_available()为True。首次运行耐心等待编译完成。编译后的内核会被缓存下次启动会快很多。如果持续失败可以尝试在加载模型时设置环境变量CPM_KERNELS_NO_COMPILE1来强制使用纯PyTorch实现不推荐速度慢。问题4对话生成速度很慢甚至卡住。原因可能的原因有很多。排查与解决检查硬件占用运行nvidia-smi查看GPU利用率。如果利用率很低可能是CPU预处理或后处理成了瓶颈。检查输入长度过长的history或query会导致生成时间指数级增长。在代码中限制输入token长度。使用量化如前所述使用8位或4位量化不仅能降低显存通常也能加速推理。启用缓存KV Cache确保在调用model.chat()时正确传递并更新了history参数模型内部会自动利用键值缓存来加速后续生成。批处理如果有多条输入尽量批处理一次推理而不是循环单条处理。7.3 网络与权限类问题问题5从ModelScope下载模型失败连接超时或速度极慢。解决使用proxychains等工具在命令行设置代理。或者先在其他网络通畅的机器上下载好模型文件model目录然后通过scp或rsync同步到服务器。也可以尝试更换其他国内镜像源如阿里云、华为云等具体需参考ModelScope文档。问题6运行脚本时提示Permission denied无法写入某些目录。原因当前用户对目标目录如模型缓存目录、代码目录没有写权限。解决使用ls -ld检查目录权限。最直接的方法确保你的操作都在用户家目录/home/yourname下进行这里你通常拥有完全控制权。避免在/tmp或/root等目录下进行需要持久化文件的操作。8. 从测试到服务构建基础API接口让模型在命令行里跑起来只是第一步。要真正投入使用我们通常需要将其封装成一个Web API服务。这里使用轻量级的FastAPI框架来实现。8.1 使用FastAPI搭建模型服务首先在虚拟环境中安装FastAPI和异步Web服务器Uvicornpip install fastapi uvicorn pydantic创建一个简单的API服务文件api_server.py# api_server.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from transformers import AutoTokenizer, AutoModel import uvicorn import torch from typing import List, Optional app FastAPI(title“ChatGLM2-6B API Server”) # 全局加载模型和分词器简单示例生产环境需考虑更优的加载方式 model_path “./model/ZhipuAI/chatglm2-6b” tokenizer None model None class ChatRequest(BaseModel): prompt: str history: Optional[List[List[str]]] None max_length: Optional[int] 2048 top_p: Optional[float] 0.7 temperature: Optional[float] 0.95 class ChatResponse(BaseModel): response: str history: List[List[str]] app.on_event(“startup”) async def load_model(): global tokenizer, model print(“Loading model and tokenizer…”) tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModel.from_pretrained(model_path, trust_remote_codeTrue, load_in_8bitTrue, # 使用量化节省显存 device_map“auto”).eval() print(“Model loaded successfully.”) app.post(“/chat”, response_modelChatResponse) async def chat_completion(request: ChatRequest): if model is None or tokenizer is None: raise HTTPException(status_code503, detail“Model is not loaded yet.”) try: # 调用模型生成 response, updated_history model.chat( tokenizer, request.prompt, historyrequest.history if request.history else [], max_lengthrequest.max_length, top_prequest.top_p, temperaturerequest.temperature ) return ChatResponse(responseresponse, historyupdated_history) except Exception as e: raise HTTPException(status_code500, detailf”Generation error: {str(e)}“) app.get(“/health”) async def health_check(): return {“status”: “healthy”, “model_loaded”: model is not None} if __name__ “__main__”: # 启动服务绑定到本地端口生产环境应使用反向代理 uvicorn.run(app, host“0.0.0.0”, port8000)这个API提供了一个/chat端点用于对话一个/health端点用于健康检查。模型在服务启动时加载。8.2 服务化部署的进阶考量上面的简单示例离生产级服务还有距离你需要考虑以下几点并发与性能上面的代码是同步的多个请求会排队。生产环境需要使用异步处理、请求队列或者结合vLLM这样的高性能推理引擎。安全务必在Nginx等反向代理后配置SSLHTTPS、设置API Key认证或限流防止服务被滥用。健壮性添加更完善的错误处理、请求验证、日志记录和监控。资源管理实现模型的热加载、多模型切换、GPU内存监控与清理等功能。容器化使用Docker将整个环境openEuler系统依赖、Conda环境、模型、代码打包成一个镜像。这能实现环境的一致性极大简化部署和迁移流程。一个简单的Dockerfile需要包含系统包安装、Miniconda安装、环境创建、依赖安装、模型下载或从卷挂载和启动命令。个人体会从单次脚本运行到稳定的API服务是部署大模型价值升华的关键一步。这个过程会让你更深入地思考资源管理、系统架构和运维问题。建议先从简单的FastAPI服务开始让流程跑通再根据实际访问量和需求逐步引入更复杂的组件如消息队列、模型缓存、动态批处理等。不要试图一开始就搭建一个完美的系统迭代优化才是工程实践的主旋律。
