环境配置和检查
环境配置和检查
2024年7月25日修改
2023年11月6日创建
本文讨论了开发组基于实践得出的ChatGLM3-6B的环境配置和检查要求，涵盖操作系统、硬件环境、软件环境等方面。关键要点包括：
1.
操作系统：ChatGLM3-6B理论上可在主流操作系统运行，开发组做了适配，但更推荐在Linux环境运行，Windows和MacOS问题可在讨论区提出。
2.
硬件最低要求：Int4版本运行，内存需 >= 8GB，显存 >= 5GB（如1060 6GB、2060 6GB）；FP16版本运行，内存 >= 16GB，显存 >= 13GB（如4080 16GB）。
3.
Mac开发：搭载Apple Silicon或AMD GPU的Mac，可用MPS后端在GPU运行，需参考官方说明安装特定版本PyTorch-Nightly。
4.
CPU加载：使用CPU加载可忽略显存要求，但速度慢。
5.
软件环境：按requirements.txt安装依赖，python推荐3.10 - 3.11版本，transformers库推荐4.36.2版本，torch推荐2.0及以上版本以获最佳推理性能 。
本文档是开发组根据实践得出的硬件需求。
操作系统
ChatGLM3-6B理论上可以在任何主流的操作系统中运行。ChatGLM开发组已经为主流操作系统做了一定的适配。
但是，我们更推荐开发者在 Linux环境下运行我们的代码，以下说明也主要针对Linux系统。
硬件环境
最低要求：
为了能够流畅运行 Int4 版本的 ChatGLM3-6B，我们在这里给出了最低的配置要求：
内存：>= 8GB
显存: >= 5GB（1060 6GB,2060 6GB）
为了能够流畅运行 FP16 版本的，ChatGLM3-6B，我们在这里给出了最低的配置要求：
内存：>= 16GB
显存: >= 13GB（4080 16GB）
Mac开发者无需关注GPU的限制。对于搭载了 Apple Silicon 或者 AMD GPU 的 Mac，可以使用 MPS 后端来在 GPU 上运行 ChatGLM3-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly（正确的版本号应该是2.x.x.dev2023xxxx，而不是 2.x.x）。
如果使用CPU加载，可以忽略显存的要求，但是速度非常慢
软件环境
Python环境
请开发者按照仓库中的requirements.txt来安装对应的依赖，并需要注意:
python 版本推荐3.10 - 3.11
transformers 库版本推荐为 4.36.2