lime-robot / product-categories-classification Goto Github PK

d_idx_sum -> s_idx_sum 아닌가요?

아나콘다 프럼프트에서 python data.py make_db train명령실행시 ,

OverflowError: timeout value is too large에러가 뜹니다.
무슨 문제인지 모르겠내요..ㅜㅜ(컴퓨터 사양은 인텔 i5-8500CPU, 4.00GB RAM, 64비트 운영체제이고, 하드는 111GB입니다.)
실습과제 데이터가 용량이 너무 커서, cate1.json과 dev.chunk.01, test.chunk.01, train.chunk.01파일만 받아서, 돌려볼려고 했는데,
에러가 나내요..

cate_db.py 28~30 라인에 open함수안에 UTF8 로 읽게 추가하면 되는것 같습니다.

이전>
self.i2wp = [line.split('\t')[0] for line in open(x_vocab_path)]
self.wp2i = dict([(v, i) for i, v in enumerate(self.i2wp)])
self.i2cate = [line.split('\t')[0] for line in open(y_vocab_path)]
self.cate2i = dict([(v, i) for i, v in enumerate(self.i2cate)])

이후>
self.i2wp = [line.split('\t')[0] for line in open(x_vocab_path, encoding='UTF8')]
self.wp2i = dict([(v, i) for i, v in enumerate(self.i2wp)])
self.i2cate = [line.split('\t')[0] for line in open(y_vocab_path, encoding='UTF8')]
self.cate2i = dict([(v, i) for i, v in enumerate(self.i2cate)])