heewoneha / nlp-project Goto Github PK

Summary

klue/roberta-large 사용하기 전, 데이터 가공하기

To Do List

• 불용어 제거
• 일의 자리 단위 개수 극성 제거
• RawText, Aspect, SentimentPolarity만 담도록 데이터 변경 (원본 JSON에는 필요없는 값: ReviewScore, ProductName 등이 많음). 파일명은 MainCategory로 하기.
• train, validation, test 데이터셋으로 분할

현재 모델은 학습할 때 정말 많은 시간이 소요된다. 이에 관해 원인 파악 및 해결 방안 정리

nlp 코드를 완성하고 코드를 다시 돌려봤는데, 아래와 같은 오류가 뜬다.

Error in atexit._run_exitfuncs:
Traceback (most recent call last):
  File "/home/{유저이름}/myenv/lib/python3.8/site-packages/IPython/core/history.py", line 581, in end_session
    self.db.execute("""UPDATE sessions SET end=?, num_cmds=? WHERE
sqlite3.OperationalError: database or disk is full

코드 고치고 나서 생긴 오류인데, 진짜 용량 부족인걸까 아니면 내 코드가 문제인걸까?

Summary

AI-Hub에 있는 속성기반 감성 분석 (샘플) 데이터셋을 이용해 EDA

To Do List

• 화장품 카테고리 데이터 개수 확인
• 데이터 전처리 테스트
• EDA

일의 자리, 십의 자리 수 속성과 그 문장 데이터를 제거해왔다.

그런데 이렇게 하면 문제가 생긴다. 속성에 따른 문장까지 함께 제거하니 의도치 않게 다른 속성의 개수도 줄었다.

로컬 랩탑, 데스크탑에는 GPU가 없다. Cuda를 위해서는 GPU가 필요하다.

1차적으로 ABSA NLP는 끝마쳤다.
그런데 이제 대시보드에 올릴 워드 클라우드를 위해서 kiwipiepy 라이브러리를 이용해보려고 한다.
예상되는 문제가 하나 있다.

속성 기반 감성 데이터 개방이 10월 이내 예정이었는데, 23년 이내 무기한으로 변경되었다.

주제 조건

• 대회 또는 자유 주제
  • 마음에 드는 대회나, 기간이 일치하는 대회를 찾기 어려우므로 자유 주제로 선택.

뭐가 많아져서 헷갈리는데, 중간 보고서에 적었던 내용과 달라진 점을 여기에 정리해본다.
기말 보고서에는 아래와 같은 내용을 변경하여 적어보자.