近日,在國(guó)際頂尖人工智能競(jìng)賽第九屆對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽(DSTC9)中,滴滴語(yǔ)音和NLP技術(shù)團(tuán)隊(duì)參與端到端多領(lǐng)域面向任務(wù)型對(duì)話系統(tǒng)任務(wù)榮獲世界第一,充分彰顯滴滴公司在自然語(yǔ)言對(duì)話領(lǐng)域的創(chuàng)新能力。
對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽(DSTC)旨在解決時(shí)下最前沿、最具挑戰(zhàn)性的對(duì)話系統(tǒng)技術(shù)問(wèn)題,在對(duì)話領(lǐng)域具有極高的權(quán)威性,迄今已舉辦九屆。本屆DSTC9由微軟、Google、IBM研究院、Amazon、CMU、清華大學(xué)等聯(lián)合舉辦,吸引了業(yè)界和學(xué)術(shù)界各路頂尖團(tuán)隊(duì)紛紛參與。滴滴參與的端到端多領(lǐng)域面向任務(wù)型對(duì)話系統(tǒng)(End-to-end Multi-domain Task Completion Dialog)賽道共吸引全球60多支團(tuán)隊(duì)參賽。
多領(lǐng)域面向任務(wù)型對(duì)話系統(tǒng)指通過(guò)人機(jī)對(duì)話旨在幫助用戶完成實(shí)際具體的任務(wù),比如在連續(xù)對(duì)話中完成訂酒店,機(jī)票、餐廳等多項(xiàng)任務(wù)。此次比賽所用的MultiWoz公開(kāi)數(shù)據(jù)集共跨七個(gè)領(lǐng)域,每個(gè)對(duì)話平均13輪。該比賽要求系統(tǒng)不僅要從人類(lèi)復(fù)雜多變的表達(dá)中快速理解意圖,還能在多領(lǐng)域中穿插切換,給予準(zhǔn)確合適的回答,最終完成任務(wù)。這也對(duì)現(xiàn)有任務(wù)型對(duì)話系統(tǒng)提出更高要求。
在比賽中,滴滴使用了HybridDTA模型,采用領(lǐng)域自適應(yīng)(Domain Adaptive)以及任務(wù)自適應(yīng)學(xué)習(xí)(Task Adaptive)混合技術(shù),通過(guò)大規(guī)模domain數(shù)據(jù)預(yù)訓(xùn)練、任務(wù)分階段多目標(biāo)學(xué)習(xí)、領(lǐng)域自適應(yīng)去詞化預(yù)處理和后處理等,讓模型可跨領(lǐng)域?qū)W習(xí)任務(wù)型對(duì)話系統(tǒng)的推理過(guò)程。
▲滴滴HybridDTA模型框架圖
而為了讓系統(tǒng)回答更加智能接近人類(lèi),滴滴模型在端到端GPT2模型基礎(chǔ)上加入基于對(duì)話領(lǐng)域的數(shù)據(jù)預(yù)訓(xùn)練,并采用一系列容錯(cuò)后處理矯正機(jī)制改進(jìn)最終結(jié)果。最終取得人工評(píng)測(cè)任務(wù)成功率(Average Success Rate)世界第一,相對(duì)DSTC8同任務(wù)提升了近9個(gè)百分點(diǎn),其中人工評(píng)測(cè)系統(tǒng)回答合適分?jǐn)?shù)相較DSTC8提升了3.8%,意味著人機(jī)對(duì)話的理解力和回復(fù)能力在多領(lǐng)域任務(wù)達(dá)到新的高度。
目前,這一語(yǔ)音對(duì)話系統(tǒng)已在滴滴廣泛使用,如智能客服對(duì)話、車(chē)機(jī)系統(tǒng)語(yǔ)音交互、司機(jī)端內(nèi)語(yǔ)音交互等。除積極探索技術(shù)前沿,滴滴也持續(xù)推進(jìn)對(duì)話交互能力的開(kāi)放,除去年 8月,開(kāi)源基于深度學(xué)習(xí)的自然語(yǔ)言平臺(tái)DELTA,進(jìn)一步降低開(kāi)發(fā)者創(chuàng)建、部署自然語(yǔ)言處理系統(tǒng)和語(yǔ)音模型的難度之外,上周,滴滴還聯(lián)合天津大學(xué)、杜克大學(xué)開(kāi)放了大規(guī)模數(shù)據(jù)庫(kù),提供由超過(guò)6000名說(shuō)話人專(zhuān)門(mén)錄制的近800小時(shí)的語(yǔ)音數(shù)據(jù)和注音標(biāo)注。