1. 程式人生 > 其它 >怎麼利用gpt2進行句子改寫生成

怎麼利用gpt2進行句子改寫生成

參考我之前的一個專案給定title和keywords利用gpt2生成文字,從中可以看出只是利用了gpt2模型,沒有其它模型上的改動或組合,變化的只是input部分,在input中,加入了title和keywords兩部分。那麼訓練時候的model輸入,就會有三部分:[BOS] + title + [SEP] + keywords + [SEP] + text + [EOS],所以生成的文章會與title和keywords有關。

一.根據以上,我們可以做一個小的實驗,就是針對一個句子進行改寫生成,或者説是可控生成,就是生成的句子不能偏離原句的意思。此實驗是基於以上專案的改動,改動的部分只是input部分,這裡只需去除title,針對句子提取keywords,輸入:[BOS] + keywords+ [SEP] +text+ [EOS],這樣生成的時候不會偏離原句大意。

二.實驗結果

從結果中可看到有那麼一點意思,不過整體還不夠準確,句子改動過大。後期會考慮加入同義詞這種外部知識來進行優化。