๐ซ ๊ณ ๋ ค๋ํ๊ต ๋น ๋ฐ์ดํฐ ์บ ํผ์ค ํ๋ก์ ํธ
๐ ํ๋ก์ ํธ ์ผ์ : 2020๋ 6์ 22์ผ ~ 2020๋ 9์ 18์ผ
๐ ํ๋ก์ ํธ ํ์: ๊น์ค๊ธฐ, ์๋ฏผ์, ์ ์ฃผ์ฐ, ์กฐ์ ํ
KINT๋ ๋ฌธ์๋ ๋ฌธ์ฅ์์ ์ ์ด๋ฅผ ์๋์ผ๋ก ๊ฐ์งํ๊ณ ๋ถ๋ฅํ๋ ๋ชจ๋ธ, ์๋์ผ๋ก ๊ฐ์ง๋ ์ ์ด์ ๋ํด์ ๊ฐ์ฑ ๋ถ์์ ์งํํ๋ ๋ชจ๋ธ, ์๋ฌธ์ ์ถ๋ ฅํ๋ ๋ชจ๋ธ์ ํตํฉ Open API๋ก ์ ๊ณตํฉ๋๋ค. ๋ํ, ๊ตฌ์ถ๋ ์ ์ด DB๋ฅผ ์ ๊ณตํ๊ณ ์ด๋ฅผ ๋ฐํ์ผ๋ก ํ ์น ์๋น์ค๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ด๋ฅผ ํตํด KINT๋ ์๋ก์ด ๋จ์ด ์ ๋ณด๋ฅผ API๋ก ์ ๊ณตํจ์ผ๋ก์จ ์๋ก์ด ๋จ์ด๋ฅผ ํด์ํ๋ ๋ฐ ์ด๋ ค์์ด ์๋ ์์ฐ์ด ์ฒ๋ฆฌ ๋ถ์ผ, ์ธ์ดํ ๋ถ์ผ, ์ฌํ ๋ฐ ๊ณต๊ณต ๋ถ์ผ์ ๊ธฐ์ฌํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
์ด ํ๋ก์ ํธ๋ ์๋ก ์์ฑ๋ ๋จ์ด๋ฅผ ๊ฐ์งํ๊ณ ์ด๋ฅผ ์ฌ์ ์ ์๋์ผ๋ก ์ ๋ฐ์ดํธํ๋ ์์ ์ ์งํํฉ๋๋ค.
์ด๋ฅผ ์ํด ์ฒซ ๋ฒ์งธ ๋ชจ๋ธ์ ์๋ก ๋ง๋ค์ด์ง ๋จ์ด๋ฅผ ๊ฐ์งํ๊ณ ๋ ๋ฒ์งธ ๋ชจ๋ธ์ ๋จ์ด์ ๋ํ ๊ฐ์ฑ ๋ถ์ ๋ฐ ์๋ฌธ์ ์ถ์ถํ๋ ๊ฒ์ผ๋ก ์ด 2๊ฐ์ง ๋ชจ๋ธ์ ๊ตฌ์ถํฉ๋๋ค.
๋ค์์ ํ๋ก์ ํธ์ ์๋ํ ์์คํ
๊ตฌ์ฑ๋์
๋๋ค.
-
๋ฐ์ดํฐ ์์ง ๋จ๊ณ
- ๋ถ์ผ๋ณ ์ปค๋ฎค๋ํฐ์์ ์น ํฌ๋กค๋ฌ๋ฅผ ํตํด ๋ฐ์ดํฐ๋ฅผ ์์งํฉ๋๋ค.
- ์ด ํฌ๋กค๋ฌ๋ ์ ๋ชฉ ํ ์คํธ ๋ฐ์ดํฐ ๋ฐ ๋ ์ง / ์๊ฐ ๋ฐ์ดํฐ๋ฅผ ์์งํฉ๋๋ค.
- ์ ๋จธ ํฌ๋กค๋ฌ
- natepan : 10๋ ์ด์ผ๊ธฐ, 20๋ ์ด์ผ๊ธฐ, ํก์ปค๋ค์ ์ ํ ๋ช ์์ ์ ๋น (์ผ๋ณ)
- ์ค๋์ ์ ๋จธ : ๋ฒ ์ค๋ฒ , ๋ฒ ์คํธ ๊ฒ์๋ฌผ
- ilbe : ์ผ๋ฒ -์ผ๊ฐ ๋ฒ ์คํธ
- dcinside : ์ผ๊ตฌ ๊ฐค๋ฌ๋ฆฌ
- ppomppu : ์์ ๊ฒ์ํ
- ์ ์น ํฌ๋กค๋ฌ
- ์ผ๋ฒ : ์ ์น / ์์ฌ ๊ฒ์ํ
- ๋ณด๋ฐฐ๋๋ฆผ : ์ ์น ์ปค๋ฎค๋ํฐ
- ์ํฐํ
์ธ๋จผํธ ํฌ๋กค๋ฌ
- dcinside : ์ธํฐ๋ท๋ฐฉ์ก ๊ฐค๋ฌ๋ฆฌ, ๋จ์/์ฌ์ ์ฐ์์ธ ๊ฐค๋ฌ๋ฆฌ
- instize : ์ด์
- ๋ด์ค ํฌ๋กค๋ฌ
- ํ๊ฒจ๋
- ๊ฒฝํฅ์ ๋ฌธ
- ๋งค์ผ๊ฒฝ์
- ์กฐ์ ์ผ๋ณด
- ๋์งํธํ์์ค
- ๋์์ผ๋ณด
- SBS๋ด์ค
- ํ๊ตญ๊ฒฝ์
-
ํ ์คํธ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋จ๊ณ
- soynlp ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ์ฌ ์ฉ์ด๋ฅผ ์ถ์ถํฉ๋๋ค.
- ๋์จ ์ฉ์ด๋ฅผ ๊ตญ๋ฆฝ๊ตญ์ด์ ์ ์์ฌ์ ์ ๊ฒ์ํฉ๋๋ค.
- ๊ตญ๋ฆฝ๊ตญ์ด์ ์ ์์ฌ์ ์ ์๋ ๊ฒฝ์ฐ ๋ค์ ๋จ๊ณ์์ ์ฌ์ฉ๋ฉ๋๋ค.
- ๊ตญ๋ฆฝ๊ตญ์ด์ ์ ์์ฌ์ ์ ์๋ ๊ฒฝ์ฐ ์ ์ด๊ฐ ์๋ ๊ฒ์ผ๋ก ํ๋จํฉ๋๋ค.
-
์ ์ด ๊ฐ์ง ๋จ๊ณ
-
1,2,3 ๋จ๊ณ๋ฅผ ๋ฐ๋ณต์ ์ผ๋ก ์ ์ฉํฉ๋๋ค.
-
ํ ์คํธ ๋ฐ์ดํฐ ๋ถ๋ฌ์ค๊ธฐ
- Model 1์์ ๊ฐ์ง๋ ์ ์ด๊ฐ ํฌํจ๋ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฌ์ต๋๋ค.
-
ํ ์คํธ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋จ๊ณ
- ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ๋ฒกํฐํํ์ฌ ํํํฉ๋๋ค.
-
๊ฐ์ฑ ๋ถ์ ๋ฐ ์๋ฌธ ์ถ๋ ฅ ๋จ๊ณ
- ์ ์ด ๊ฐ์ฑ ๋ถ์ API (์ ์ด ๊ฐ์ฑ ๋ถ์ ๋ชจ๋ธ)๋ Point Mutual Information (PMI) ์ ๊ธฐ๋ฐ์ผ๋ก ์ ์ด์ ๋ํ ๊ฐ์ฑ์ ๋ถ์ํ๋ฉฐ ๊ด๋ จ ํค์๋๋ฅผ ์ถ์ถํฉ๋๋ค.
- ์ ์ด ์๋ฌธ์ถ์ถ API(์ ์ด ์๋ฌธ ์ถ์ถ ๋ชจ๋ธ)๋ Bidirectional GRU์ ํตํด ์๋ฌธ์ ์ถ์ถํ๊ณ , N-grame์ ํ์ฉํ์ฌ ์ถ์ถ๋ ์๋ฌธ์ ๋์ด์ฐ๊ธฐ๋ฅผ ์ ์ฉํฉ๋๋ค.
Korea Univ Bigdata Campus Project
This service provides the top 5-newly detected internet terms, sentiment analysis of newly detected internet terms, and example sentence of newly detected internet terms on the website.
Through this, KINT aims to contribute to Natural Language Processing, Linguistics, Social and Public sectors that have difficulty interpreting new internet terms by providing new internet terms information through API.
This project automatically detects new internet terms and updates this in our dictionary.
For this, the 1st Model detects new internet terms, and the 2nd Model extracts sentiment analysis result of them and example sentence of them.
-
Data collecting Step
- Web crawlers collect data at each sector community
- These crawlers collect head data, DateTime data
- Humor Crawler
- natepan : 10 ๋ ์ด์ผ๊ธฐ, 20 ๋ ์ด์ผ๊ธฐ, ํก์ปค๋ค์ ์ ํ ๋ช ์์ ์ ๋น (์ผ๋ณ)
- ์ค๋์ ์ ๋จธ : ๋ฒ ์ค๋ฒ , ๋ฒ ์คํธ ๊ฒ์๋ฌผ
- ilbe : ์ผ๋ฒ -์ผ๊ฐ ๋ฒ ์คํธ
- dcinside : ์ผ๊ตฌ ๊ฐค๋ฌ๋ฆฌ
- ppomppu : ์์ ๊ฒ์ํ
- Politic Crawler
- ์ผ๋ฒ : ์ ์น / ์์ฌ๊ฒ์ํ
- ๋ณด๋ฐฐ๋๋ฆผ : ์ ์น์ปค๋ฎค๋ํฐ
- Entertainment Crawler
- dcinside : ์ธํฐ๋ท๋ฐฉ์ก ๊ฐค๋ฌ๋ฆฌ, ๋จ์/์ฌ์์ฐ์์ธ ๊ฐค๋ฌ๋ฆฌ
- instize : ์ด์
- News Crawler
- ํ๊ฒจ๋
- ๊ฒฝํฅ์ ๋ฌธ
- ๋งค์ผ๊ฒฝ์
- ์กฐ์ ์ผ๋ณด
- ๋์งํธํ์์ค
- ๋์์ผ๋ณด
- SBS๋ด์ค
- ํ๊ตญ๊ฒฝ์
-
Text data preprocessing step
- We use the soynlp library to extract terms.
- Extract terms are searched in the electronic dictionary of the National Institute of Korean Language.
- If not in the electronic dictionary of the National Institute of Korean Language, it will be used in the next step.
- If it is in the electronic dictionary of the National Institute of Korean Language, it is judged that it is not a new internet term.
-
New internet word detecting step
-
Dependent Variable: Whether it is a new internet term
-
Put the above dependent and independent variables into the learned classification model to determine whether it is a new internet term or not
- We apply step 1,2,3 repeatedly.
-
Text data loading step
- We load the text data containing the new internet terms detected in Model 1.
-
Text data preprocessing step
- Text data vectorize.
-
Sentiment analysis and example sentence extracting step
-
The New Internet Terms Sensitivity Analysis API (New Internet Terms Sensitivity Analysis Model) analyzes the sensitivity of new internet terms based on Point Mutual Information (PMI) and extracts related keywords.
-
The New Internet Terms sample extraction API (New Internet Terms sample extraction model) extracts the sample through the Bidirectional GRU and applies the spacing of the extracted sample using N-Gram.
-
-----------------------------------------------------ใ
- soynlp
- ๊ตญ๋ฆฝ๊ตญ์ด์ ์ ์์ฌ์
- smy999 [email protected]
- wtt5857 [email protected]
- yujuyeon0511 [email protected]
- Kimyungi [email protected]