南宫28(中国.NG)官方网站

　　

　　【新智元导读】近来，清华和微软的研讨职员提出了一种全新的措施，能正在包管输出质地褂讪的条件下，将提示词压缩到原始长度的20%！

　　即使能将提示词举行有用地压缩，某种水准上也相当于放大了模子支撑上下文的长度。

　　然而，行动按照的消息熵仅仅探讨了文本的单向上下文，进而也许会漏掉对付压缩至合要紧的消息；另外，消息熵的估计打算办法与压缩提示词的真正目标并不所有一律。

　　为了应对这些挑拨，来自清华和微软的研讨职员提出了一种全新的数据精粹流程——LLMLingua-2，目标是从大型说话模子（LLM）中提取学问，完毕正在不损失要害消息的条件下对提示词举行压缩。

　　结果显示，LLMLingua-2能够将文本长度大幅缩减至最初的20%，有用省略了处置工夫和本钱。

　　另外，与前一版本LLMLingua以及其他相同工夫比拟，LLMLingua 2的处置速率进步了3到6倍。

　　模子会评估每个词的要紧性，确定是保存仍然删除，同时也会探讨到词语之间的合联。

　　纵然这个模子体积不大，但它正在基准测试中获得了明显的本能提拔，而且阐明了其正在区别的大说话模子（从GPT-3.5到Mistral-7B）和语种（从英语到中文）上具有优秀的泛化材干。

　　行动一名卓越的说话学家，你擅长将较长的文段压缩成简短的外达办法，措施是去除那些不要紧的词汇，同时尽也许众地保存消息。

　　请将给定的文本压缩成简短的外达情势，使得你（GPT-4）不妨尽也许确凿地还原原文。区别于常例的文本压缩，我需求你遵守以下五个条目：

　　请尽也许地压缩原文，同时保存尽也许众的消息。即使你清楚了，请对以下文本举行压缩：{待压缩文本}

　　结果显示，正在问答、摘要撰写和逻辑推理等众种说话劳动中，LLMLingua-2都明显优于原有的LLMLingua模子和其他选拔性上下文计谋。

　　值得一提的是，这种压缩措施对付区别的大说话模子（从GPT-3.5到Mistral-7B）和区别的说话（从英语到中文）同样有用。

　　目前，该模子仍然被集成到了遍及运用的RAG框架LangChain和LlamaIndex当中。

　　为了征服现有基于消息熵的文本压缩措施所面对的题目，LLMLingua-2接纳了一种改进的数据提炼计谋。

　　这一计谋通过从GPT-4云云的大说话模子中抽取精彩消息，完毕了正在不吃亏要害实质和避免增加谬误消息的条件下，对文本举行高效压缩。

　　也即是正在压缩文本时，诱导GPT-4仅移除那些正在原始文本中不那么要紧的词汇，同时避免正在此经过中引入任何新的词汇。

　　研讨职员愚弄了从GPT-4等大说话模子中提炼出的学问，开采了一种新鲜的数据标注算法。

　　这个算法不妨对原文中的每一个词汇举行标注，精确指出正在压缩经过中哪些词汇是务必保存的。

　　为了包管所修筑数据集的高质地，他们还安排了两种质地监控机制，特意用来识别并消除那些品格不佳的数据样本。

　　结果，研讨职员将文本压缩的题目转化为了一个对每个词汇（Token）举行分类的劳动，并采用了强壮的Transformer行动特性提取器。

　　这个器材不妨意会文本的前后合联，从而精准地抓取对付文本压缩至合要紧的消息。

　　通过正在经心修筑的数据集长进行练习，研讨职员的模子不妨依照每个词汇的要紧性，估计打算出一个概率值来确定这个词汇是该当被保存正在最终的压缩文本中，仍然该当被舍弃。

　　研讨职员正在一系列劳动上测试了LLMLingua-2的本能，这些劳动蕴涵上下文研习、文本摘要、对话天生、众文档和单文档问答、代码天生以及合成劳动，既蕴涵了域内的数据集也蕴涵了域外的数据集。

　　测试结果显示，研讨职员的措施正在保留高本能的同时，省略了最小的本能吃亏，而且正在劳动不特定的文本压缩措施中出现了得。

　　研讨职员将LLMLingua-2正在MeetingBank测试集上的出现与其他强壮的基线措施举行了比照。

　　纵然他们的模子界限远小于基线B，但正在问答和文本摘要劳动上，研讨职员的措施不但大幅提拔了本能，并且与原始文本提示的出现相差无几。

　　探讨到研讨职员的模子仅正在MeetingBank的集会记载数据长进行了练习，研讨职员进一步搜索了其正在长文本、逻辑推理和上下文研习等区别场景下的泛化材干。

　　值得一提的是，纵然LLMLingua-2只正在一个数据集上练习，但正在域外的测试中，它的出现不但与暂时最前辈的劳动不特定压缩措施相媲美，以至正在某些情景下又有过之而无不足南宫28官方网站。

　　假使是研讨职员的较小模子（BERT-base巨细），也能到达与原始提示相当的本能，正在某些情景下以至略高于原始提示。

　　固然研讨职员的措施获得了可喜的成绩，但与其他劳动感知压缩措施（如Longbench上的LongLLMlingua）比拟，研讨职员的措施还存正在不敷。

　　研讨职员将这种本能差异归因于它们从题目中获取的特殊消息。可是，研讨职员的模子具有与劳动无合的特质，于是正在区别场景中安插时，它是一种具有优良通用性的高效选拔。

　　与其他基线措施比拟，研讨职员的措施正在本能上有明白的提拔，显示了其正在对象LLM上优良的泛化材干。

　　研讨职员推断，Mistral-7B正在执掌长上下文方面的材干也许不如GPT-3.5-Turbo。

　　研讨职员的措施通过供应消息密度更高的短提示，有用进步了 Mistral7B 的最终推理本能。

　　结果剖明，与其他压缩措施比拟，LLMLingua2的估计打算开销要小得众，能够完毕1.6倍到2.9倍的端到端速率提拔。

　　另外，研讨职员的措施还能将GPU内存本钱低落8倍，从而低落对硬件资源的需求。

　　上下文认识查察 研讨职员查察到，跟着压缩率的增进，LLMLingua-2能够有用地保留与无缺上下文干系的消息量最大的单词。

　　这要归功于双向上下文感知特性提取器的采用，以及精确朝着实时压缩对象举行优化的计谋。

　　研讨职员查察到，跟着压缩率的增进，LLMLingua-2能够有用地保留与无缺上下文干系的消息量最大的单词。

　　这要归功于双向上下文感知特性提取器的采用，以及精确朝着实时压缩对象举行优化的计谋。

　　结果研讨职员让GPT-4 从 LLMLingua-2压缩提示中重构原始提示音。

　　结果剖明，GPT-4能够有用地重筑原始提示，这剖明正在LLMLingua-2压缩经过中并没有损失根基消息。

　　本文为倾盆号作家或机构正在倾盆消息上传并宣布，仅代外该作家或机构概念，不代外倾盆消息的概念或态度，倾盆消息仅供应消息宣布平台。申请倾盆号请用电脑访谒。