多知7月30日消息，近日，字節跳動 ByteDance Research 團隊的研究人員推出了端到端同聲傳譯智能體：CLASI(Cross Language Agent - Simultaneous Interpretation) ，效果已接近專業人工水平的同聲傳譯。

　　此前，市面上傳統的同聲傳譯軟件通常采用級聯模型(cascaded model)的方法，即先進行自動語音識別(Automatic Speech Recognition, ASR)，然后再進行機器翻譯(Machine Translation, MT)。這種方法存在一個顯著的問題——錯誤傳播。ASR 過程中的錯誤會直接影響到后續的翻譯質量，導致嚴重的誤差累積。此外，傳統的同聲傳譯系統由于受限于低延時的要求，通常只使用了性能較差的小模型，這在應對復雜多變的實際應用場景時存在瓶頸。

　　而CLASI 采用了端到端的架構，規避了級聯模型中錯誤傳播的問題，依托于豆包基座大模型和豆包大模型語音組的語音理解能力，同時具備了從外部獲取知識的能力。從字節方面釋出的幾則視頻中可以看到，無論是繞口令、文言文，還是充滿即興和靈感的隨意聊天，模型都能流暢自然地給出準確的翻譯結果。

　　系統架構上，CLASI 采用了基于 LLM 智能體的架構，將同聲傳譯定義為一系列簡單且協調的操作，包括讀入音頻流，檢索(可選)，讀取記憶體，更新記憶體，輸出等。整個流程由大語言模型自主控制，從而在實時性和翻譯質量之間達到了高效的平衡。該系統能夠根據實際需求靈活調整各個環節的處理策略，確保在高效傳遞信息的同時，保持翻譯內容的準確性和連貫性。CLASI 底層模型是一個 Encoder-conditioned LLM，在海量的無監督和有監督數據上進行了預訓練。