共 9 篇文章
在RTX 4090 48GB显存环境下部署Gemma 4 31B模型，需选用AWQ 4-bit或INT8量化版本，避免使用GGUF格式。推荐通过ModelScope下载HuggingFace格式的量化模型，并配置阿里云或DaoCloud镜像加速以解决国内拉取慢的问题。部署时需确保挂载路径与容器内路径一致，命令行避免使用续行符，端口映射与服务端口需匹配，量化参数必须与模型格式对应。最终采用vLLM官方镜像，配合合理内存与并发参数，可实现长上下文支持与稳定推理，适用于本地大模型部署及多轮对话场景。
在 Ubuntu 24.04 上安装 OpenClaw 需先通过 NodeSource 仓库升级至 Node.js 22 或更高版本，确保环境兼容性。随后使用 npm 全局安装 OpenClaw，通过内置向导完成网关配置、工作区创建及 Telegram、WhatsApp 等通信渠道的集成。配置完成后，可启动网关服务并通过命令行或聊天工具与 AI 助手交互。建议运行 `openclaw doctor` 检查配置安全，并定期更新以获取最新功能与修复。
在 setuptools ≥70.0.0 版本中，`pkg_resources` 模块已被正式移除，导致依赖该模块的工具（如 ModelScope SDK）无法正常运行。问题根源在于当前环境中的 setuptools 版本过高（如 82.0.0）。解决方法是将 setuptools 降级至最后一个包含 `pkg_resources` 的版本 69.5.1，执行 `pip install "setuptools==69.5.1"` 即可恢复兼容性。建议后续向 ModelScope 提交 issue，推动其迁移到 `importlib.metadata` 等现代替代方案以实现长期兼容。
在 Ubuntu 22.04 上部署 llama.cpp 时，推荐通过编译方式实现最佳性能。仅需三步：安装 git、build-essential 及 nvidia-cuda-toolkit；克隆源码并执行 make LLAMA_CUDA=1 编译；最后启动服务，指定模型路径与显卡参数。该方法能充分调用显卡加速，确保兼容性与运行效率，是 Linux 平台部署 AI 模型的可靠方案。
RAG 技术发展已从基础的朴素阶段演进至高级、模块化乃至图谱与代理驱动的前沿形态。当前主流系统多处于高级 RAG 阶段，通过结构化解析、混合检索与重排序等手段显著提升召回率与回答精度，有效缓解上下文断裂与幻觉问题。进一步向模块化与 Graph RAG 演进，可实现更灵活的任务路由与多跳推理能力，但面临工程复杂度与构建成本的挑战。未来方向聚焦于 Agentic RAG，赋予模型自主决策与迭代检索能力，虽代价高昂且存在失控风险，却是应对复杂任务的关键路径。
在 Ubuntu 22.04 上安装 Ollama 可通过一键脚本完成，支持 Llama 3、Qwen 等主流大模型本地运行。安装后可通过命令行下载并运行模型，亦可配置为局域网访问，配合 Docker 部署 Open WebUI 实现图形化交互。支持模型管理、服务自启与灵活卸载，兼顾性能与易用性，是本地部署大语言模型的高效方案。
在 Ubuntu 22.04 上通过 systemd 管理 Ollama 服务时，可利用 `OLLAMA_MODELS` 环境变量自定义模型存储路径。需先停止服务，创建目标目录并设置权限，再使用 `systemctl edit ollama` 添加环境变量配置，最后重新加载并启动服务。验证可通过 `systemctl show` 检查环境变量生效情况，并通过拉取模型确认路径正确。注意目录权限及用户归属，若需迁移已有模型，需手动复制数据。
在 Ollama 中，可通过设置 `keep_alive` 为 `-1` 实现特定模型（如 qwen3:32b）永久驻留显存。推荐通过 API 请求直接启用，无需重启服务，影响范围精准。也可通过环境变量全局生效，或在代码中控制。使用 `ollama ps` 可查看模型驻留状态，需释放时可设为 `0`。该方法兼顾灵活性与资源管理，适合对响应速度有要求的场景。
在本地环境下，基于 Qwen3-14B 与 ROCm 构建的结构感知型 RAG 系统，通过 Markdown 重构 PDF 保留表格结构，结合父子文档索引实现精准召回与上下文完整，引入多路查询与实体硬过滤机制有效防噪，辅以 FlashRank 重排与审计师式生成策略，显著提升表格统计、实体区分与去重准确性。全链路日志与性能优化保障可复现性与响应效率，验证了高质量数据处理与检索控制对 RAG 效果的关键作用。