MOSS
OpenMOSS/MOSS
An open-source tool-augmented conversational language model from Fudan University
An open-source tool-augmented conversational language model from Fudan University
Categories
Tags
Similar tools
ollama
ollama/ollama
Local inference runtime and CLI for open-weight large language models
transformers
huggingface/transformers
huggingface/transformers
JavaGuide
Snailclimb/JavaGuide
Java guide for backend interviews & AI application development covering system design, LLMs, Agents, and RAG.
langflow
langflow-ai/langflow
Metadata derived from provided repository information.
langchain
langchain-ai/langchain
The agent engineering platform.
LLMs-from-scratch
rasbt/LLMs-from-scratch
Implement a ChatGPT-like LLM in PyTorch from scratch
Install
pip install MOSSREADME
MOSS
目录
- 开源清单
- 模型
- 数据
- 工程方案
- 介绍
- 本地部署
- 硬件要求
- 下载安装
- 使用示例
- 微调
- 软件依赖
- 使用方法
- 友情链接
- 未来计划
- 开源协议
:spiral_notepad: 开源清单
模型
- moss-moon-003-base: MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x1022次浮点数运算。
- moss-moon-003-sft: 基座模型在约110万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
- moss-moon-003-sft-plugin: 基座模型在约110万多轮对话数据和约30万插件增强的多轮对话数据上微调得到，在
moss-moon-003-sft基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。 - moss-moon-003-sft-int4: 4bit量化版本的
moss-moon-003-sft模型，约占用12GB显存即可进行推理。 - moss-moon-003-sft-int8: 8bit量化版本的
moss-moon-003-sft模型，约占用24GB显存即可进行推理。 - moss-moon-003-sft-plugin-int4: 4bit量化版本的
moss-moon-003-sft-plugin模型，约占用12GB显存即可进行推理。 - moss-moon-003-sft-plugin-int8: 8bit量化版本的
moss-moon-003-sft-plugin模型，约占用24GB显存即可进行推理。 - moss-moon-003-pm: 在基于
moss-moon-003-sft收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。 - moss-moon-003: 在
moss-moon-003-sft基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。 - moss-moon-003-plugin: 在
moss-moon-003-sft-plugin基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更强的意图理解能力和插件使用能力，将在近期开源。
数据
- moss-002-sft-data: MOSS-002所使用的多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由
text-davinci-003生成的约57万条英文对话和59万条中文对话。 - moss-003-sft-data:
moss-moon-003-sft所使用的多轮对话数据，基于MOSS-002内测阶段采集的约10万用户输入数据和gpt-3.5-turbo构造而成，相比moss-002-sft-data，moss-003-sft-data更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含110万条对话数据。完整数据已全部开源。 - moss-003-sft-plugin-data:
moss-moon-003-sft-plugin所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约30万条多轮对话数据。已开源所有数据。 - moss-003-pm-data:
moss-moon-003-pm所使用的偏好数据，包含在约18万额外对话上下文数据及使用moss-moon-003-sft所产生的回复数据上构造得到的偏好对比数据，将在近期开源。
工程方案
- MOSS Vortex - MOSS部署和推理方案
- MOSS WebSearchTool - MOSS搜索引擎插件部署方案
- MOSS Frontend - 基于flutter实现的MOSS-003前端界面
- MOSS Backend - 基于Go实现的MOSS-003后端
:fountain_pen: 介绍
MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
局限性：由于模型参数量较小和自回归生成范式，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容，请谨慎鉴别和使用MOSS生成的内容，请勿将MOSS生成的有害内容传播至互联网。若产生不良后果，由传播者自负。
MOSS用例：