近年來人工智慧技術進展快速,可讓電腦產生擬真的英文文章,而台師大學者運用AI,進行電腦自動生成中文經濟新聞試驗,結果顯示,部分文章內容與語料庫比對後,發現電腦移花接木再加潤飾的能力,已可欺騙專業人士,此堪稱全球首篇有關中文自動化處理的論文,近期已刊登於「Journal of Library & Information Studies」期刊。

為瞭解文字生成技術在中文方面的能力,感受電腦生成的中文到何者程度,台師大圖書資訊學研究所教授曾元顯與學生林郁綺,利用開源碼GPT-2 Chinese軟體,將30萬篇共1.5億字的經濟日報新聞拿來訓練,然後進行自動生成新聞的試驗,訓練電腦學習30萬篇經濟新聞,總共花費了75小時,訓練完後平均每分鐘可產生4篇新聞。

讓電腦產生4萬筆新聞後,參考經濟日報網站之分類:金融、證券、期貨、商情、產業、理財、兩岸、國際共8類,從隨機抽樣出90篇,再以人工逐筆檢視、挑選、修剪出15篇,做為電腦生成之新聞,同樣按類隨機抽樣經濟日報15篇出來,做為人類撰寫之新聞。將這30篇新聞隨機排列順序,詢問12位受試者對其進行1到5分可信度的評價。

而受試者是從社交平台上招募而來,分為:專家組(碩博士經濟相關系所畢業)、中等組(大學經濟相關系所畢業)以及一般組(大學非經濟相關系所畢業),每一組分別招募4人,共12人。結果,8位經濟相關系所畢業的受試者較具鑑別能力,而4位非經濟相關科系畢業的受試者,鑑別能力較差,有一位甚至對於電腦生成的新聞與人類撰寫的新聞,其平均可信度評分都相同。

在15篇人類撰寫的新聞中,有1篇的可信度12人評估的平均為2.92,不及3,原因為沒有邏輯、主觀性強等。而在15篇電腦撰寫的新聞中,有2篇其可信度皆為3.33,大於3,原因為內容合理、細節符合邏輯,此2篇的部分內容與語料庫比對後,發現電腦移花接木再加潤飾的能力,已可欺騙專業人士。

其他被認為可疑的電腦生成新聞,主要原因為內容事實的明顯破綻、邏輯的似是而非、以及日期、股票代碼等數字的誤值。

台師大表示,此文章為此議題在全球的首篇研究,希望能喚起更多的探討,提供更多人瞭解人工智慧在中文自動化處理的發展近況,並進而共同探究其可能的影響與因應之道。在產業界,AI生成文章可以輔助人們提高寫作的效率。在教育界,為了訓練學生的表達能力,不應該藉助AI產生文章來因應這種訓練,其誤用或濫用可能造成作弊的行為。

這些教育上的弊端,除了現在已有論文抄襲比對系統外,未來可能也需要有自動偵測系統,來快速輔助鑑定學習歷程、學位論文、計畫書、法定文書等具高風險(high-stake)、高報酬、高影響之文件,是否由電腦代工產生。社會學者、法律專家可能得未雨綢繆後續發生的各種情況。