【新智元导读】最能打的开源模型来了?在最新评测中，一举击败。

开源模型训练平台_开源模型能商用吗_开源chatgpt模型

(相关资料图)

一夜之间，全新开源模型「」击败的消息，在网上引起轩然大波。

根据官方的介绍，:

- 在斯坦福上，以80.9%的胜率位列开源模型第一

- 在 GPT-4评测中，性能则达到了的105.7%

最重要的是开源chatgpt模型，如此卓越的性能，只需要6K的GPT-4对话数据进行微调训练。

项目地址:

不过 的「榜单主」提醒称，由于旧的 eval基准存在一些bias，因此提倡大家迁移到新提出的MT-上——从而更好地测评LLM更多方面的能力。

:只需6K GPT-4对话微调

是一个在多样化且高质量的多轮对话数据集上进行微调的开源语言模型系列。

具体来讲，研究人员从约90K的对话中，过滤出来约6K的GPT-4对话。

经过6k数据微调后，令人惊讶的是，已经被证明可以在有限的数据下实现高性能。

有两个通用模型，它们是和-8192。

:基于-13B微调，上下文长度为2048

- 在 GPT-4评估中达到分数的105.7%

- 在上取得了惊人的80.9%的胜率

-8192:基于-13B微调，上下文长度为8192

- 在 GPT-4评估中达到分数的106.6%

- 在上取得的79.5%胜率

此外开源chatgpt模型，还有代码模型，其性能如下:

:基于，原始上下文长度为8192

- 在 GPT-4评估中达到分数的102.5%

- 在上获得78.7%的胜率

模型评估

研究人员使用 GPT-4和基准评估了最新模型，结果如下图所示:

GPT-4评估（v.s. gpt-3.5-）

GPT-3.5-评估（v.s. gpt-3.5-）

另外，值得注意的是，研究者采用的评估模式与的略有不同，还使用了证据校准（EC）+平衡位置校准(BPC)来减少潜在的偏差。

安装和权重

要使用，需要安装CUDA和。用户可以克隆这个资源库，并通过pip安装这些依赖:

gitclonegit@github.com:imoneoi/OChat.gitpipinstall-rrequirements.txt

目前，研究人员已经提供了所有模型的完整权重作为存储库。

用户可以使用以下命令在本地启动一个API服务器，地址为:。

其中，服务器与包，以及协议兼容（请注意，某些功能可能不完全支持）。

用户可以通过设置以下方式指定包的服务器:

openai.api_base="https://localhost:18888/v1"

当前支持的参数有:

建议:使用至少40GB（1x A100）显存的GPU来运行服务器。

数据集

转换后的数据集可在上获取。

项目中所使用的数据集，是对清洗和筛选后的版本。

其中，原始的数据集包含大约90，000个对话，而仅有6，000个经过清理的GPT-4对话编程客栈被保留用于微调。

清洗后的编程GPT-4对话与对话模板和回合结束时的相结合，然后根据模型的上下文限制进行截断（超出限制的内容将被丢弃）。

要运行数据处理流程，请执行以下命令:

./ochat/data/run_data_pipeline.shINPUT_FOLDEROUTPUT_FOLDER

输入文件夹应包含一个文件夹，其中包含每个对话页面的.html文件。

数据处理流程包括三个步骤:

- 清洗:对HTML进行清理并转换为格式，删除格式错误的对话，删除包含被屏蔽词汇的对话开源chatgpt模型，并进行基于哈希的精确去重处理

- 筛选:仅保留为: GPT-4的对话

- 转换:为了模型的微调，针对所有的对话进行转换和分词处理

最终转换后的数据集遵循以下格式:

..json / .eval.json

[[token_id_list，supervise_mask_list]，[token_id_list，supervise_mask_list]，...]

..text.json / .eval.text.json从解码的纯文本

除此之外，研究人员还提供了一个用于可视化对话嵌入的工具。

只需用浏览器打开//ui/.html，并将..json拖放到网页中。点击3D图中的点，就可以显示相应的对话。

其中，嵌入是使用.py创建的，然后使用.进行UMAP降维和K-着色。

模型修改

研究人员为每个基础模型添加了一个EOT（对话结束）。

对于模型，EOT的嵌入初始化为所有现有嵌入的平均值。对于模php型，EOT的嵌入以0.02标准差进行随机初始化。

对于具有8192上下文的-模型，编程客栈被设置为8192，并且进行了RoPE（相对位置编码）代码的外推。

训练

训练模型时使用的超参数在所有模型中都是相同的:

使用进行训练:

NUM_GPUS=8

--=$ -- .. \-- \-- \-- \-- \--\-- \-- \-- //.json

评估

要运行 GPT-4评估，请执行以下步骤:

1. 生成模型答案

python-mochat.evaLuation.get_model_answer--model_typeMODEL_TYPE--models_pathPATH_CONTAINING_ALL_MODELS_SAME_TYPE--data_path./ochat/evaluation/vicuna--output_path./eval_results

2. 生成基线（GPT-3.5）答案

OPENAI_API_KEY=sk-XXXpython-mochat.evaluation.get_openai_answer--data_path./ochat/evaluation/vicuna--output_path./eval_baselines--model_typesgpt-3.5-turbo

3. 运行GPT-4评估

OPENAI_API_KEY=sk-XXXpython-mochat.evaluation.openai_eval--data_path./ochat/evaluation/vicuna--baseline_path./eval_baselines/vicuna_gpt-3.5-turbo.jsonl--input_path./eval_results

4. 可视化和细节

要获得可视化和绘制评估结果，请使用浏览器打开///er.html，并选择.//文件夹中的所有文件以显示结果。

局限性

基础模型限制

尽管能够实现优秀的性能，但仍然受到其基础模型固有限制的限制。这些限制可能会影响模型在以下领域的性能:

- 复杂推理

- 数学和算术任务

- 编程和编码挑战

不存在信息的幻觉

有时可能会产生不存在或不准确的信息，也称为「幻觉」。用户应该意识到这种可能性，并验证从模型中获得的任何关键信息。

参考资料:

关键词：

免责声明：本文系转载，版权归原作者所有；旨在传递信息，不代表本站的观点和立场和对其真实性负责。如需转载，请联系原作者。如果来源标注有误或侵犯了您的合法权益或者其他问题不想在本站发布，来信即删。