4. 开源 · CogVLM & CogAgent
输入“/”快速插入
4. 开源 · CogVLM & CogAgent
飞书用户2250
飞书用户9403
飞书用户64362023年11月28日创建
任何相关技术问题，请到github issue 提问
模型介绍：
| CogAgent | CogVLM |
模型介绍 | CogAgent是一个经过CogVLM升级的开源视觉和语言模型。CogAgent-18B这个版本有110亿个用于处理图像的参数和70亿个用于处理语言的参数，它可以理解1120*1120分辨率的高清图像。除了CogVLM原有的功能外，CogAgent-18B还能处理图形用户界面（GUI）的图像。 CogAgent-18B在9个跨模态基准测试中达到了当前最先进的水平（SOTA），这些测试包括VQAv2、OK-VQA、TextVQA、ST-VQA、ChartQA、infoVQA、DocVQA、MM-Vet和POPE。同时，它在处理图形用户界面（GUI）操作的数据集上，比如AITW和Mind2Web，表现远超其他现有模型。 | CogVLM 是一个功能强大的开放视觉语言模型。CogVLM-17B 版本具有 170 亿参数，其中 100 亿用于处理视觉信息，70 亿用于处理语言信息。它能够理解和处理 490*490 分辨率的图像，并能够进行多轮对话。 在 10 个标准的跨模态基准测试中，CogVLM-17B 表现出了目前最先进的技术水平，这些测试包括 NoCaps、Flicker30k captioning、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC。 |
支持语言 | English | English |
Token Limit | 2048 | 2048 |
论文地址 |
🎉
更新细节：
🔥 News:2023/12/26 我们公开了 CogVLM-SFT-311K 数据集，它包含了超过15万条我们用于训练 CogVLM v1.0(仅该模型) 的数据。欢迎关注和使用。
🔥 News:2023/12/18新的 Streamlit用户界面 已经上线！我们已经基于Streamlit推出了新的网页用户界面，用户可以在我们的界面上轻松与CogVLM，CogAgent交谈。带来更好的用户体验。
🔥 News:2023/12/15 CogAgent上线。CogAgent 是在CogVLM基础上开发并优化的图像理解模型。它具备基于视觉的图形用户界面（GUI）代理能力，并且在图像理解方面有更进一步的提升。CogAgent 可以处理 1120*1120 分辨率的图像输入，并具备图像多轮对话、GUI 代理以及定位等多种能力。
🔥 News: 2023/12/7 CogVLM 支持4-bit量化。
🔥 News: 2023/11/20 CogVLM 的 🤗huggingface 版已开源
📚 信息汇总
👋 价值观
•
让机器像人一样思考。
🏠 公众号
❤️ 交流群
💡 Help
本 wiki 将尽可能完备地提供关于 CogVLM 相关问题的解决方案，但在这是一个不断完善的过程，必然会有许多错误或遗漏的地方，您在使用过程如有任何建议，欢迎随时联系我们。
错误反馈