moztw / cc0-sentences Goto Github PK

https://github.com/Taiwanese-Corpus/moe_minkalaok
需要從 txt 轉為結構化資料

https://github.com/moztw/cc0-sentences/blob/master/nan-TW/ChhoeTaigi_iTaigiHoataiTuichiautian_尚待清理.txt

目前上述檔案中有下列約 600 個重複詞句：
重複詞.txt

需進行以下處理：

• 移除同音詞句：假設重複詞句間的差異羅馬字部分，包含連字符、或者調號的有無，此時請保留拼音較為正確的那一個，並刪掉重複的部分
• 合併有多重發音的詞句：假設重複的原因來自於一詞有多種發音（含口音或發音差異），請以「xxx （發音1 | 發音2 | 發音3）」等格式合併為一行

https://scidm.nchc.org.tw/dataset/grandchallenge
https://scidm.nchc.org.tw/dataset/grandchallenge2020

這個資料集的音檔跟文本對不起來，但純粹只抓文本或許可以用

https://github.com/irvin/moe-nan-tw-materials/tree/main/%E3%80%8A%E5%92%B1%E4%BE%86%E5%AD%B8%E8%87%BA%E7%81%A3%E9%96%A9%E5%8D%97%E8%AA%9E%E3%80%8B%E5%AD%B8%E7%BF%92%E6%89%8B%E5%86%8A

https://language.moe.gov.tw/result.aspx?classify_sn=23&subclassify_sn=439&content_sn=45
https://language.moe.gov.tw/files/people_files/700iongji_109.12.02.pdf

https://github.com/irvin/moe-nan-tw-materials/tree/main/%E8%87%BA%E7%81%A3%E9%96%A9%E5%8D%97%E8%AA%9E%E6%8E%A8%E8%96%A6%E7%94%A8%E5%AD%97

https://github.com/Taiwanese-Corpus/Le-kun-Tan_2013_Tai-gi-ABC-tsin-tshu-bi#%E5%8F%B0%E5%8D%97%E5%B8%82%E5%8F%B0%E8%AA%9E%E7%BE%85%E9%A6%AC%E5%AD%97%E6%95%99%E6%9D%90--t%C3%A2i-g%C3%AD-abc-tsin-tsh%C3%B9-b%C4%AB

把 chatlog 的句子拆開成一句一句，去識別話，移掉冷僻難句，打散順序，然後 commit 到 repo

整理的標準請參考目前檔案中的句子。
現在句庫收錄至截至 2019/6 的範圍，請一次認領一個月。

https://m.facebook.com/groups/422997841416327/
李恒德老師在社團中的文章都願意提供拆解做為語料，歡迎協助整理
請一篇文章一個 commit 分成一個 commit，並在 commit message 中註明內容出處的連結