4 月 19 日消息 阿里巴巴達(dá)摩院發(fā)布超大規(guī)模語(yǔ)言模型 PLUG，該模型參數(shù)規(guī)模達(dá) 270 億，是目前全球規(guī)模最大的中文純文本預(yù)訓(xùn)練語(yǔ)言模型。
官方表示，PLUG 集良好的語(yǔ)言理解與創(chuàng)造性文本生成能力于一身，在小說(shuō)仿寫(xiě)、詩(shī)歌生成、智能問(wèn)答等長(zhǎng)文本生成領(lǐng)域表現(xiàn)突出，其目標(biāo)是通過(guò)超大模型的能力，大幅提升中文自然語(yǔ)言技術(shù)在各類(lèi)任務(wù)中的表現(xiàn)，取得超越人類(lèi)表現(xiàn)的性能。
接下來(lái)，PLUG 將擴(kuò)大參數(shù)規(guī)模至 2000 億級(jí)，并進(jìn)一步提升文本生成質(zhì)量。
IT之家了解到，達(dá)摩院語(yǔ)言技術(shù)實(shí)驗(yàn)室研究員黃非表示：“現(xiàn)在預(yù)訓(xùn)練語(yǔ)言模型的發(fā)展趨勢(shì)包括更多的訓(xùn)練數(shù)據(jù)、更廣的數(shù)據(jù)領(lǐng)域、跨模態(tài)信息的融入等。模型能力正變得越來(lái)越強(qiáng)大，在生成理解等方面也正逐步接近人類(lèi)水平。但在邏輯推理、情感表達(dá)方面，語(yǔ)言模型的能力還有待進(jìn)一步提升。后續(xù)期待語(yǔ)言模型融合除文本信息以外更廣泛的人類(lèi)知識(shí)，能作為認(rèn)知智能的技術(shù)基座，在更多場(chǎng)景中得到廣泛應(yīng)用。”
