基于弱標(biāo)注數(shù)據(jù)的漢語(yǔ)分詞領(lǐng)域移植
關(guān)鍵詞：漢語(yǔ)分詞 領(lǐng)域移植 弱標(biāo)注數(shù)據(jù)
摘要：近年來(lái),基于神經(jīng)網(wǎng)絡(luò)的分詞模型在封閉領(lǐng)域文本上取得了很高的性能。然而,在領(lǐng)域移植場(chǎng)景下,即測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的領(lǐng)域差異較大時(shí),分詞的性能會(huì)顯著下降。該文嘗試?yán)米詣?dòng)獲取的弱標(biāo)注數(shù)據(jù)來(lái)提升領(lǐng)域移植場(chǎng)景下的分詞性能。首先,對(duì)目前性能最好的BiLSTM-CRF分詞模型進(jìn)行擴(kuò)展,引入適用于弱標(biāo)注數(shù)據(jù)的損失函數(shù);進(jìn)而提出一種簡(jiǎn)單有效的數(shù)據(jù)篩選方法,從海量弱標(biāo)注數(shù)據(jù)中篩選和目前領(lǐng)域更相關(guān)的數(shù)據(jù);最后,該文發(fā)現(xiàn)數(shù)據(jù)預(yù)處理和在神經(jīng)網(wǎng)絡(luò)中引入傳統(tǒng)特征均可以有效提高分詞性能。在SIGHAN Bakeoff 2010和ZhuXian標(biāo)注測(cè)試集上的實(shí)驗(yàn)結(jié)果表明,該文所提方法可有效提升漢語(yǔ)分詞領(lǐng)域移植性能,平均F值提高了3.6%。
中文信息學(xué)報(bào)雜志要求:
{1}本刊對(duì)刊發(fā)的文章?lián)碛邪鏅?quán)，不得擅自轉(zhuǎn)載、改編。凡轉(zhuǎn)載、改編務(wù)經(jīng)我刊同意，違者必究。
{2}作者簡(jiǎn)介包括：姓名、性別、出生年月、畢業(yè)學(xué)校及所學(xué)專(zhuān)業(yè)、工作單位、職務(wù)職稱(chēng)、現(xiàn)從事的研究工作情況。
{3}來(lái)稿若屬國(guó)家自然科學(xué)基金項(xiàng)目或省部基金項(xiàng)目，請(qǐng)?jiān)谖母逯袠?biāo)明其基金來(lái)源和編號(hào)，我刊可以優(yōu)先審核發(fā)表。
{4}正文內(nèi)連續(xù)敘述中的序號(hào)采用①……；②……；③……。分級(jí)超過(guò)3級(jí)后用網(wǎng)括號(hào)如：“①”，“②”表示，并采用連排。
{5}附注請(qǐng)一律使用當(dāng)頁(yè)腳注的形式，以帶圈①……⑩的方式編號(hào)，使用每頁(yè)重新編號(hào)的方式。
注：因版權(quán)方要求，不能公開(kāi)全文，如需全文，請(qǐng)咨詢雜志社
