LLM360: 首个完全开源和透明的大语言模型

**划重点:**

1. 🌐 开源LLMs（如LLaMA、Falcon和Mistral）选择性公开了组件，而LLM360计划通过完全开源训练过程，支持AI研究的透明性和可重复性。

2. 🚀 LLM360[]发布两个7B[]参数的LLM[]s，AMBE[]R和CRYS[]TALCOD[]ER，附带训[]练代码、数据[]、中间检查点[]和分析，旨在[]推动开源LL[]Ms的全面透[]明。

3. 📈 研究在四个数据集上展示了AMBER模型在预训练期间的性能，强调对LLMs进行全方位开源，包括释放检查点、数据块和评估结果，以实现全面分析和可重复性。

12月14日 消息:在众多开源的大型语言模型（LLMs）中，如LLaMA、Falcon和Mistral等，大多数仅公开了特定组件，如最终模型权重或推理脚本。技术文档通常集中在更广泛的设计方面和基本指标上，限制了该领域的进展，因为训练方法的清晰度不足，导致团队不断努力揭示训练过程的众多方面。

为支持开放和[]协作的AI研[]究，来自Pe[]tuum、M[]BZUAI、[]USC、CM[]U、UIUC[]和UCSD的[]研究人员推出[]了LLM36[]0。这一倡议[]旨在通过使端[]到端LLM训[]练过程对每个[]人都透明且可[]重现，全面开[]源LLMs。[]LLM360[]的目标是让所[]有训练代码和[]数据、模型检[]查点以及中间[]结果都能为社[]区所用。

与LLM36[]0最接近的项[]目是Pyth[]ia，也旨在[]实现LLMs[]的完全可重复[]性。Eleu[]therAI[]模型，如GP[]T-J和GP[]T-NeoX[]，已发布了训[]练代码、数据[]集和中间模型[]检查点，展示[]了开源训练代[]码的价值。I[]NCITE、[]MPT和Op[]enLLaM[]A发布了训练[]代码和训练数[]据集，Red[]Pajama[]也发布了中间[]模型检查点。[]

LLM360[]发布了两个7[]B参数的LL[]Ms，分别是[]AMBER和[]CRYSTA[]LCODER[]，连同它们的[]训练代码、数[]据、中间检查[]点和分析。研[]究回顾了预训[]练数据集的详[]细信息，包括[]数据预处理、[]格式、数据混[]合比例以及L[]LM模型的架[]构细节。

研究提到了在先前工作中引入的记忆得分，并发布了研究人员易于找到其对应物的度量、数据块和检查点。该研究还强调了消除LLMs预先训练的数据的重要性，以及有关数据过滤、处理和训练顺序的详细信息，以评估LLMs的风险。

研究在四个数[]据集（ARC[]、Hella[]Swag、M[]MLU和Tr[]uthful[]QA）上展示[]了模型在预训[]练期间的性能[]。Hella[]Swag和A[]RC的评估分[]数在预训练期[]间单调增加，[]而Truth[]fulQA的[]分数下降。M[]MLU的分数[]最初下降，然[]后开始增长。[]相对于ARC[]，AMBER[]的性能在诸如[]MMLU之类[]的分数上相对[]竞争，但在A[]RC方面稍逊[]色。微调的A[]MBER模型[]在性能上表现[]强于其他类似[]模型。

LLM360是一个推动开源LLMs全面透明的倡议。该研究发布了两个7B LLMs，AMBER和CRYSTALCODER，连同它们的训练代码、数据、中间模型检查点和分析。该研究强调了从各个角度开源LLMs的重要性，包括释放检查点、数据块和评估结果，以实现全面分析和可重复性。阅读论文以获取更多信息，对这项研究的所有贡献归功于该项目的研究人员。如果您喜欢他们的工作，不要忘记加入ML SubReddit、Facebook社群、Discord频道和电子邮件通讯，以获取最新的AI研究新闻和有趣的AI项目。

论文网址:h[]ttps:/[]/arxiv[].org/a[]bs/231[]2.0655[]0

项目网址:https://t.co/ZcLPtYQhdQ