离线模式教程：Ollama篇

用户767

2024年7月22日修改

CodeGeeX4-ALL-9B作为最新一代CodeGeeX4系列模型的开源版本发布后，很多用户对这次更新的CodeGeeX插件支持本地模式非常感兴趣，都希望能够在本地部署CodeGeeX4-ALL-9B，然后通过本地模式接入CodeGeeX插件中来使用代码补全和智能问答的功能。​

CodeGeeX4-ALL-9B这次也专门适配了GGUF，今天我们详细介绍只用简单的一招，不用考虑环境和依赖，通过Ollama跑起来本地的CodeGeeX代码大模型。​

首先我们需要用到的Ollama也是一个开源项目，是在本地快速跑各种开源大模型的最优选择之一。CodeGeeX4-ALL-9B在开源后不到24小时就获得了Ollama的支持，目前通过Ollama下载已经超过了10,000次+。​

安装使用的过程非常简单，跟着下面的教程，大家也可以一起来体验：​

首先，把Ollama开源项目一键安装在自己的电脑上。建议安装Ollama0.2或更高版本。MacOS和Windows都有一键安装包。Linux也只需要执行一行命令。​

安装完成后，打开终端，输入ollama，能看到这些信息就说明Ollama已经安装成功。​

接下来我们打开Ollama的官网，搜索CodeGeeX4。

打开进入详情页面，就可以看到CodeGeeX4-ALL-9B模型的相关介绍和使用命令了，复制运行命令​

在终端运行刚才复制的模型运行命令，就开始安装CodeGeeX4-ALL-9B模型了​

看到终端命令行提示的“Send a message”就说明CodeGeeX4-ALL-9B已经成功安装在你的电脑上，你可以直接在这里输入问题和CodeGeeX4-ALL-9B进行对话。​

接下来按照下面的步骤，就可以把CodeGeeX4-ALL-9B接入到您的CodeGeeX插件本地模式中。​

两个平台的步骤相同。

1.
在VSCode、JetBrains全家桶的IDE插件市场中，搜索CodeGeeX，点击下载安装插件。​

2.
配置跨域所需的环境变量在终端输入​

代码块

export OLLAMA_ORIGINS="*"

或

代码块

launchctl setenv OLLAMA_ORIGINS "*"

来设置环境变量，Windows环境可以观看下方视频，了解如何手动配置环境变量。​

3.
设置后需要重启 Ollama 服务和 IDE(VSCode 或其他环境) 使环境变量生效。​

4.
启动CodeGeeX4，在终端输入​

代码块

ollama serve

离线模式教程：Ollama篇​