标签 #llama

在 Ubuntu 22.04 上编译llama.cpp

在 Ubuntu 22.04 上部署 llama.cpp 时，推荐通过编译方式实现最佳性能。仅需三步：安装 git、build-essential 及 nvidia-cuda-toolkit；克隆源码并执行 make LLAMA_CUDA=1 编译；最后启动服务，指定模型路径与显卡参数。该方法能充分调用显卡加速，确保兼容性与运行效率，是 Linux 平台部署 AI 模型的可靠方案。