呆板之心报道编纂：蛋酱、陈陈近来，类 o1 模子的呈现，验证了长头脑链 (CoT) 在数学跟编码等推理义务中的无效性。在长思考（long thought）的辅助下，LLM 偏向于摸索、反思跟自我改良推理进程，以取得更正确的谜底。在近来的一项研讨中，微信 AI 研讨团队提出了 DRT-o1，将长 CoT 的胜利引着迷经呆板翻译 (MT)。实现这一目的有两个要害点：一是合适在呆板翻译中应用长思考的翻译场景：并不是全部的场景都须要在翻译进程中停止长思考。比方，对简略的表白，直译就能够满意年夜少数需要，而长思考的翻译可能不须要；二是一种可能分解存在长思考才能的呆板翻译数据的方式。开展来说，文学册本中可能会波及明喻跟隐喻，因为文明差别，将这些文本翻译成目的言语在实际中长短常艰苦的。在这种情形下，直译每每无奈无效地转达预期的含意。即便是专业的人工翻译，也必需在全部翻译进程中细心斟酌怎样保存语义。为了在 MT 中模仿 LLM 的长思考才能，本文起首从现有文学册本中发掘包括明喻或隐喻的句子，而后开辟出了一个多智能体框架经由过程长思考来翻译这些句子。该框架有三个智能体，即翻译者（translator）、参谋（advisor）跟评价者（evaluator）。数据分解进程是迭代的，每次迭代包含以下三个步调：（1）翻译者依据前一步的翻译跟参谋的响应改良倡议天生新的翻译；（2）参谋评价以后翻译并供给具体反应；（3）评价者评价以后翻译并应用预约义的评分尺度给出评价分数。一旦评价者供给的翻译分数到达预约义的阈值或迭代次数到达最年夜值，迭代将结束。尔后，每一步中的翻译跟倡议都能够构成长思考的呆板翻译样本。为了进步长思考数据的可读性跟流利性，本文应用 GPT-4o 来从新表述长思考的内容。基于网络的长思考呆板翻译样本，本文分辨应用 Qwen2.5-7B-Instruct 跟 Qwen2.5-14B-Instruct 作为骨干模子，对 DRT-o1-7B 跟 DRT-o1-14B 停止练习（SFT）。在文学翻译上的试验成果证实了 DRT-o1 的无效性。比方，DRT-o1-7B 的表示比 Qwen2.5-7B-Instruct 超过 8.26 BLEU、1.31 CometKiwi 跟 3.36 CometScore。它的表示也比 QwQ32B-Preview 超过 7.82 BLEU 跟 1.46 CometScore。本文奉献重要包含：提出 DRT-o1，旨在构建存在长思考呆板翻译才能的 LLM。为了实现这一目的，本文发掘了带有明喻或隐喻的文学句子，并网络存在长思考进程的呆板翻译样本；为了分解长思考呆板翻译样本，本文提出了一个多智能体框架，此中包含翻译者、参谋跟评价者。这三个智能体以迭代方法合作，在呆板翻译进程中发生长思考。最后，应用 GPT4o 进一步进步分解长思考呆板翻译样本的品质；在文学翻译上的试验成果验证了 DRT-o1 的无效性，经由过程长思考，LLM 能够在呆板翻译进程中学会思考。论文题目：DRT-o1: Optimized Deep Reasoning Translation via Long Chain-of-Thought论文链接：https://arxiv.org/pdf/2412.17498名目地点：https://github.com/krystalan/DRT-o1DRT-o1 数据论文以英译汉为研讨工具，在本节中经由过程三个步调先容怎样网络 DRT-o1 练习数据：（1）网络在翻译进程中每每须要长时光思考的英语句子（§ 2.1）；（2）经由过程计划的多智能体框架对网络到的句子停止长时光思考翻译进程的分解（§ 2.2）；（3）改良长时光思考内容的可读性跟流利性，构成终极的长时光思考 MT 样本（§ 2.3）。最后，对网络到的数据停止统计，加深懂得（§ 2.4）。文学图书发掘研讨者应用了古腾堡打算大众范畴册本库中的文学册本，这些册本平日有 50 多年的汗青，其版权已过时。他们应用了大概 400 本英文册本来发掘含有比方或隐喻的句子。起首，从这些册本中提取全部句子，并过滤失落太短或太长的句子，即少于 10 个单词或多于 100 个单词的句子，终极失掉 577.6K 个文学句子。其次，对每个句子，应用 Qwen2.5-72B-Instruct 来断定该句子能否包括比方或隐喻，并舍弃不包括比方或隐喻的句子。第三，对剩下的句子，让 Qwen2.5-72B-Instruct 将其直译为中文，而后断定译文能否合乎母语为中文的人的习气。假如谜底能否定的，则保存响应的句子，将其视为「合适长思考翻译」。如许，终极从 577.6K 个波及比方或隐喻的文学句子中网络了 63K 个直译也出缺陷的句子，称为预网络句子。多智能体框架对每个事后网络的句子（用 s 表现），研讨者计划了一个多智能体框架，经由过程长时光的思考将其从英文翻译成中文。如图 1 所示，框架包含三个智能体：翻译者、参谋跟评价者。分解进程如下：(1) 词语级翻译。(2) 开端翻译。(3) 翻译完美轮回。长思考重配方经由多智能体合作，失掉了一个漫长的思考进程：此中，P (s) 表现 s 的多智能体思考进程，m 为迭代步数。为了夸大无效的头脑进程，不分数变更的翻译将被删除。也就是说，假如 s^i 即是 s^(i-1)（i = 1，2，...，m），研讨者将舍弃 P (s) 中的?t^i , f^i , s^i ?，成果为：此中 1≤r_1 < r_2 < ... < r_n ≤ m，n 为残余步数。假如 n < 3，将废弃全部样本，即 P (s) / P′ (s)。对其他样本，研讨者效仿 Qin et al. (2024) 的做法，应用 GPT-4o 将 P ′ (s) 修正并打磨为自我反思描写。最后，取得了 22264 个带有长思考的呆板翻译样本。图 2 举例阐明了分解成果。数据统计研讨者将网络到的 22264 个样天职为练习集、验证集跟测试集，样本数分辨为 19264、1000 跟 2000。表 1 列出了 DRT-o1 数据跟以往相似 O1 数据的数据统计。对 Marco-O1 CoT 数据，因为其尚未完整宣布，此处应用其演示数据来盘算数据统计。能够看到，分解的思考中的均匀 token 数到达了 500 多个，这与之后面向数学的 O1 类 CoT 数据类似。试验为了盘算 CometKiwi 跟 CometScore，研讨者应用了官方代码跟官方模子。为了盘算 BLEU 分数，应用 sacrebleu 东西包盘算语料库级其余 BLEU。此处，研讨者采取 Qwen2.5-7B-Instruct 跟 Qwen2.5-14B-Instruct 作为 DRT-o1 的主干。下表 2 表现了文献翻译的成果。研讨者将 DRT-o1-7B 跟 DRT-o1- 14B 与之前的 Qwen2.5-7B-Instruct、Qwen2.5- 14B-Instruct、QwQ-32B-preview 跟 Marco-o1- 7B 停止了比拟。依据网络到的数据停止指令调剂后，DRT-o1-7B 的 BLEU、CometKiwi 跟 CometScore 分辨为 8.26、1.31 跟 3.36，优于 Qwen2.5-7B-Instruct。DRT-o1-14B 在 7.33 BLEU、0.15 CometKiwi 跟 1.66 CometScore 方面优于 Qwen2.5-14B-Instruct。别的，DRT-o1-14B 在全部指标方面都获得了最佳成果，表现了长思考在呆板翻译中的无效性。图 3 表现了 DRT-o1-14B 的一个示例。能够看到，该模子进修了网络的数据的头脑进程。DRT-o1-14B 起首履行词级翻译，而后实验开端翻译。接上去，它会一直改良翻译，直到它以为翻译充足好为止。更多研讨细节，可参考原论文。??THE END?转载请接洽本大众号取得受权投稿或追求报道：[email protected] ]article_adlist--> 申明：新浪网独家稿件，未经受权制止转载。 -->[db:摘要]
