kakaobrain / kor-nlu-datasets Goto Github PK

multinli.train.ko.tsv

ParserError: Error tokenizing data. C error: Expected 3 fields in line 24426, saw 4

multinli.train.ko.tsv의 일부 행이 탭 대신 스페이스로 구분되어 pandas로 인식되지 않아 위와 같은 오류가 발생합니다.

xnli.dev.ko.tsv

xnli.dev.ko.tsv의 한 행도 pandas에서 탭으로 구분되지 않았습니다.

xnli.test.ko.tsv

premise 이런 설명이 없다면 성이 프랑스식 수르놈에서 나온 정보라는 건 별로 관심이 없는 것 같습니다.에 해당하는 행도 구분자 탭을 인식하지 못하였습니다.

간단하게 데이터를 불러와서 사용하려고 했는데 오류가 발생합니다

data = pd.read_csv("KorSTS/sts-train.tsv", delimiter="\t")

pandas.errors.ParserError: Error tokenizing data. C error: Expected 7 fields in line 2658, saw 8

data = pd.read_csv("KorSTS/sts-train.tsv", delimiter="\t",error_bad_lines=False)

error_bad_lines 를 붙여 사용하니 train data 5750 개중에 5696개만 출력됩니다.

dev도 1500개중 1466개만 출력이 됩니다. test는 오류가 없습니다.

중간에 \t 말고 띄어쓰기가 들어간것 같습니다. (오류난 라인 들어가서 변경해보니 오류가 제거됬습니다)

KorNLI 데이터셋에서 길이가 긴 문장을 살펴보다가 무의미한 문장을 발견하여 제보드립니다.

무의미한 문장이 데이터셋에 포함되어 있고, label도 붙어 있기 때문에 학습에 방해가 되지 않을까 우려됩니다.

다 찾아본 것은 아니기 때문에 제가 발견한 예시만 올려드립니다.

multinli.train.ko.tsv data를 read_csv로 읽어오는 과정에서 다음과 같은 에러가 발생했습니다.

• ParserError: Error tokenizing data. C error: Expected 3 fields in line 24426, saw 4

24436줄에 "\t"가 잘못 들어가 있는건지 빠진건지 DF 열이 하나 더 생기게 된거 같습니다.

Thanks for the dataset beforehand.
While making good use of these datasets, I can't find the EXACT MEANING of the score in the STS dataset.
I've only found that 0 is the case for totally dissimilar one while 5 is for similar one.
Since the score is ranged from 0 to 5 with real value, how would it be proper to interpret them?
What were the ground rules behind making the dataset? ( For me, considering several examples, it seems like the output of some other pretrained model's predictions)

Thanks,

좋은 한국어 데이터 공개 감사드립니다.

혹시 의도한 부분이 아니라면 아래 파일 확장자가 명확히 표현 되는건 어떤가요 ?

snli_1.0_train.kor ==>snli_1.0_train.kor.tsv

좋은 하루 되세요.