Meta提出全新注意力机制S2A 大模型准确率提升至80.3%

11月28日 消息:在2023科技领域，大语言模型（LLM）的应用日益广泛，但其在回答问题时存在的问题引起了关注。Meta团队提出的新注意力机制S2A通过解决LLM容易受到上下文虚假相关性的问题，显著提升了模型的准确性和客观性。这一机制的提出得到了深度学习领域的重要人物LeCun的认可，他表示这将有助于使LLM更具推理能力。

传统LLM存在的问题包括对无关信息的过度敏感和容易受到用户观点的影响。S2A通过更深思熟虑的注意力机制，即System2Attention，有效解决了这些问题。以一个数学计算的例子为证，S2A可以过滤掉无关信息，使模型更关注问题的实质，从而提高答案的准确性。

论文地址：h[]ttps:/[]/arxiv[].org/p[]df/231[]1.1182[]9.pdf

S2A的实现[]方式是利用L[]LM本身构建[]，通过指令调[]整的LLM来[]删除不相关的[]文本，重新生[]成上下文。这[]不仅使模型能[]够在输出响应[]之前深思熟虑[]地推理，还能[]够控制注意力[]焦点，类似于[]人类的方式。[]实验证明，S[]2A显著提高[]了模型的性能[]，使其更适应[]复杂的推理任[]务。

随着理解的加深，添加的文本是无关紧要的，应该被忽略。通过引入更深思熟虑的注意力机制，S2A为解决LLM的问题提供了一种可行的方法，为大型语言模型的进一步发展铺平了道路。