naver-ai-hackathon / ai-vision Goto Github PK

안녕하세요, 베이스라인 코드를 NSML에서 실행시켜보다가 문제가 생겨서 올립니다.

nsml을 통해 베이스라인을 실행시켰을 때 (터미널에서 nsml run -d ir_ph1 실행) Web 환경에서 코드가 실행 되면서 학습되는 과정을 볼 수가 있는데요,

%3|1546415084.769|FAIL|rdkafka#producer-1| [thrd:192.0.2.0:9092/bootstrap]: 192.0.2.0:9092/bootstrap: Connect to ipv4#192.0.2.0:9092 failed: Connection timed out (after 127329ms in state CONNECT)
%3|1546415084.769|ERROR|rdkafka#producer-1| [thrd:192.0.2.0:9092/bootstrap]: 192.0.2.0:9092/bootstrap: Connect to ipv4#192.0.2.0:9092 failed: Connection timed out (after 127329ms in state CONNECT)
%3|1546415084.769|ERROR|rdkafka#producer-1| [thrd:192.0.2.0:9092/bootstrap]: 1/1 brokers are down

학습 도중 위와 같은 메세지가 나오고,
학습이 완료되고 나면 User session exited 라는 메세지가 뜨면서 세션이 종료가 되고 제출을 할 수가 없어집니다.

혹시 어떤 문제가 있는지 알 수 있을까요?

이전의 test용 제출된 session이나 코드오류로 session삭제를 진행하고자 했다가
삭제가 불가능하다는 글을 보고 질문합니다.

마지막으로 제출된 session으로만 평가 진행하나요?
총 session의 수는 상관없는 것이죠?

제출한 폼에서 사용한 팀 이름으로 나오지 않고 팀이름이 임의로 붙여 진 것 같은데 확인 부탁드립니다!

TF Eager execution을 이용해서 작성중인데,

계속 데이터셋을 못 불러오길래, 코드문제인것같아서 계속 찾다가

결국 베이스라인을 돌려보니 데이터셋을 불러오지 못합니다.

처음 베스트라인을 테스트 했을때는

_________________________________________________________________
dataset path /data/ir_ph1

4316 train samples

으로 뜨면서 잘불러왔는데, 중간에 제가 코드를 작성하면 계속 아래와 같이 나오더라구요

dataset path /data/ir_ph1

0 train samples

이렇게 나오면서 종료되길래 제 코드 문제인줄 삽질을 계속하다가

뭐가문제인지 도저히 모르겠어서

베이스라인 코드를 다시 돌려봤는데

_________________________________________________________________
dataset path /data/ir_ph1
 
0 train samples

이렇게 뜨면서 테스트 데이터를 전혀불러오지 못하네요. 혹시 이런경우 해결방법이 있을까요?

크레딧 잔여량은 어디서 확인할 수 있나요?

또한 각 session의 score는 제출하기 전에 알 수 있는 방법이 있나요?

가능한지 여쭈어봅니다!

팀 명을 한글로 잘못 등록해 영문으로 변경하려 합니다.
기존 팀명은 "하쿠나 마타타" 이고 "Hakuna-matata"로 변경 부탁드립니다.
팀 멤버는 이세희, 우지철입니다.

3명이 참가한다면 임의로

참가 팀 이름 : OOO
참가 팀원 이름 : OOO / OOO / OOO
생년월일 : OO.OO.OO / OO.OO.OO / OO.OO.OO
이름 : ???

이렇게 작성하면 되는 건가요??

그리고 맨 밑칸의 이름은 지원서를 제출하는 팀장이름을 적는것인가요??

바쁘시겠지만 위의 사항을 알려주시면 감사하겠습니다.

30일 23시30분에 참가신청을 하였으나, 팀원 추가로 인해 수정을 하려고 하니, 참가동의서 제출 버튼이 활성화 되지 않아, 웹상에서 수정된 참가동의서로 변경하지 못하였습니다.

[email protected] 로 수정본을 보내드렷습니다.
팀명 : Kingkeras 입니다.

팀명을 한글로 등록해서 영문으로 변경하려는데 참가 동의서 수정이 안됩니다.
참가 신청 구글폼에는 jireh_father로 팀명을 변경했습니다.

참가 동의서는 어떻게 수정해야 할까요?

안녕하세요, 예선 1차 진행에 앞서 궁금한 것이 있어 문의드립니다.
예선 1차는 반드시 Keras 프레임워크를 이용해서 해결해야 하나요?

개인 로컬 가상환경에서 사용한 requirements.txt 를 main.py와 같은 경로에 넣어주고
session을 돌릴 경우

Traceback (most recent call last):
  File "main.py", line 2, in <module>
    import cv2
  File "/usr/local/lib/python3.5/dist-packages/cv2/__init__.py", line 3, in <module>
    from .cv2 import *
ImportError: libSM.so.6: cannot open shared object file: No such file or directory

와 같은 에러가 계속해서 발생합니다. setup.py 의 경우에도 동일합니다.

데이터 분석을 하려면 당연히 다운로드 받아서 열어보고 감을 잡아야할텐데, 데이터 저작권 문제가 있을 것 같아 문의드립니다.

서류 심사 및 예선 참가 발표가 12월 30일부터 시작되는데,
참가신청 기한 역시 12월 30일까지로 공지되어 있습니다.

참가신청 기한이 12월 30일이 끝나는 자정까지인 것인지 궁금합니다.
감사합니다.

참가 신청서를 냈는데 업로드한 파일 중 참가동의서를 잘못써서 수정하려고합니다.
근데 다른 것은 다 수정이 되는데 업로드한 파일이 수정할 수 없네요.
신청서를 새로 내야할까요?

1차 예선 도전을 위한 서류 통과 팀 수가 정해져있나요?

서명파일 제출하는 부분에 새로 스캔한 파일(본문을 출력하여 서명을 완료한파일)을 업로드 하려 합니다.
이 경우 어떻게 해야하는지 궁금합니다.

윈도우 10에서 사용하고 있습니다
윈도우 CMD랑 WSL 모두 같은 오류가 발생합니다

https://n-clair.github.io/vision-docs/_build/html/ko_KR/contents/getting_started.html#run-a-session

튜토리얼에 나온 내용 따라해보고 있는데
nsml run -d ir_ph1 -e main.py
명령어 실행할때 오류가 발생합니다.

com@yong11:~/AI-Vision$ nsml run -d ir_ph1 -e main.py
INFO[2019/01/02 19:47:39.068] .nsmlignore check - start
INFO[2019/01/02 19:47:39.072] .nsmlignore check - done
INFO[2019/01/02 19:47:40.125] file integrity check - start
INFO[2019/01/02 19:47:40.179] file integrity check - done
INFO[2019/01/02 19:47:40.225] .nsmlignore 17 B - start
INFO[2019/01/02 19:47:40.246] .nsmlignore 17 B - done (1/5 20.00%) (17 B/20 KiB 0.08%)
INFO[2019/01/02 19:47:40.247] README.md 10 KiB - start
INFO[2019/01/02 19:47:40.250] README.md 10 KiB - done (2/5 40.00%) (10 KiB/20 KiB 52.39%)
INFO[2019/01/02 19:47:40.250] data_loader.py 1.6 KiB - start
INFO[2019/01/02 19:47:40.267] data_loader.py 1.6 KiB - done (3/5 60.00%) (12 KiB/20 KiB 60.33%)
INFO[2019/01/02 19:47:40.268] main.py 7.5 KiB - start
INFO[2019/01/02 19:47:40.277] main.py 7.5 KiB - done (4/5 80.00%) (19 KiB/20 KiB 98.84%)
INFO[2019/01/02 19:47:40.278] setup.py 232 B - start
INFO[2019/01/02 19:47:40.285] setup.py 232 B - done (5/5 100.00%) (20 KiB/20 KiB 100.00%)
.Error: Docker daemon error
FATA[2019/01/02 19:47:42.350] Internal server error

감사합니다

제가 신청서에 입력한 깃허브 아이디를 입력하고 깃허브 비밀번호를 치고 로그인하는게 맞는건가요?

웹과 터미널 두군데 모두 인증되지않았다고 나옵니다.

이부분을 확인하려면 어떻게해야하나요?

쿼리 검색의 정확한 의미가 궁금합니다.

1. 이미지에 대한 텍스트를 생성하고, 쿼리로 텍스트를 검색해야 하는 것인지
   (ex. 구두 이미지 -> '구두' 텍스트 생성 , select '구두' from 구두_테이블)

2. 이미지의 클래스를 쿼리로 검색해야 하는 것인지
   (ex. 구두의 클래스, 10001 -> select 10001 from 구두)

알고 싶습니다.

감사드립니다.

어디에 여쭤봐야 할지 잘 몰라서 여기에 글을 남깁니다.

3~4월에 열린 2018년 네이버 AI 해커톤에서 문장 유사도 측정하는 데이터를 얻고자 하는데
이 데이터가 비공개로 되어 얻을 수 없는 것인지 궁금합니다.

혹시 데이터를 얻을 수 있다면 어디서 얻을 수 있는지 궁금합니다.

안녕하세요, 팀 INLine입니다. 몇가지 질문이 있어 올립니다.

1. 저희가 Inference코드는 따로 작성할 필요 없고, training만 하고 model만 save하면 되나요? main.py 보면 inference과정이 없어보입니다.

2. 만약에 위에 질문처럼 저희는 training만 하는거라면, 궁금점이 있습니다. 베이스라인 코드를 보면 classification으로 문제를 풀고 있습니다. Inference시는 이 모델을 그대로 적용할 것 같지 않은데, 어떻게 image retrieval이 일어나는지 알 수 있을까요 ?

감사합니다.

깃헙 id 는 영어만 가능하다는데 팀명은 한글도 가능한가요?

서류 심사에 합격 하였는데 Github로그인 인증이 되지않습니다.
[email protected]이 깃허브 아이디, JeongWonJo가 유저네임입니다.

You are not a registered user. Please contact the administrator. ( [email protected] )

어떻게 해야하나요?

참가 자격 제한이 있나요?

학생이어야 한다거나, 뭐.. 그런것들요.

안녕하세요. 지금 미국에서 거주중인데 온라인상으로 참가가능할까요? NSML Cloud 기반에서 개발하는거 같던데...

안녕하세요,
참석이 어려워져 등록취소 처리 부탁드리겠습니다.
감사합니다.

팀명: Aha Moment

D:\Program Files>nsml login
INFO[2018/12/27 14:27:41.684] connecting to hack-cli.nsml.navercorp.com:18553
INFO[2018/12/27 14:27:42.041] could not get the update URL: rpc error: code = Unavailable desc = all SubConns are in TransientFailure, latest connection error: connection error: desc = "transport: authentication handshake failed: EOF"
FATA[2018/12/27 14:27:42.064] please check your network connectivity by using 'ping hack-cli.nsml.navercorp.com'

D:\Program Files>ping hack-cli.nsml.navercorp.com

Ping slb-1038770.ncloudslb.com [210.89.187.57] 32바이트 데이터 사용:
210.89.187.57의 응답: 바이트=32 시간=16ms TTL=52
210.89.187.57의 응답: 바이트=32 시간=14ms TTL=52
210.89.187.57의 응답: 바이트=32 시간=16ms TTL=52
210.89.187.57의 응답: 바이트=32 시간=14ms TTL=52

210.89.187.57에 대한 Ping 통계:
패킷: 보냄 = 4, 받음 = 4, 손실 = 0 (0% 손실),
왕복 시간(밀리초):
최소 = 14ms, 최대 = 16ms, 평균 = 15ms

위와 같은 에러가 발생합니다.

팀명을 적는 란에 "Github username은 5자리 이상, 대/소문자 영어 5~20자리, 특수문자는 “_” 만 가능합니다." 라고 쓰여있는것으로 보아, 팀명이 github 아이디로 발행되는것 같은데, 그렇다면 github에 이미 존재하는 아이디는 팀명으로 사용할 수 없는 것인가요?

참가신청서에 메일 주소 오타가 있어 합격 메일이 오지 않았습니다.
주소는 다시 수정했습니다.
확인 후 재발송 해주실 수 있을까요?

관련분야지식이 많이 부족해도
따라가는데 문제가 없을까요?

./nsmlignore 에 입력한 내용은 다음과 같습니다.
pycache
.git
*.pkl
nsml_tutorial.md
README.md
local_main.py

Docker Image 생성 결과는 다음과 같고 ignore에 적은 파일들이 그대로 포함됩니다.
INFO[2019/01/02 22:00:24.351] .nsmlignore check - start
INFO[2019/01/02 22:00:24.377] .nsmlignore check - done
INFO[2019/01/02 22:00:24.380] ****************************************************************************
INFO[2019/01/02 22:00:24.383] * Interactive session will be terminated automatically after 30 minutes *
INFO[2019/01/02 22:00:24.473] * If you don't want to see this message, please use --hide-client-log flag *
INFO[2019/01/02 22:00:24.479] ****************************************************************************
INFO[2019/01/02 22:00:25.116] file integrity check - start
INFO[2019/01/02 22:00:27.684] file integrity check - done
INFO[2019/01/02 22:00:28.136] .nsmlignore 25 B - start
INFO[2019/01/02 22:00:28.175] .nsmlignore 25 B - done (1/10 10.00%) (25 B/9.7 MiB 0.00%)
INFO[2019/01/02 22:00:28.178] LICENSE-THIRD-PARTY.txt 19 KiB - start
INFO[2019/01/02 22:00:28.184] LICENSE-THIRD-PARTY.txt 19 KiB - done (2/10 20.00%) (19 KiB/9.7 MiB 0.19%)
INFO[2019/01/02 22:00:28.187] README.md 9.2 KiB - start
INFO[2019/01/02 22:00:28.189] README.md 9.2 KiB - done (3/10 30.00%) (28 KiB/9.7 MiB 0.28%)
INFO[2019/01/02 22:00:28.192] data_loader.py 1.6 KiB - start
INFO[2019/01/02 22:00:28.194] data_loader.py 1.6 KiB - done (4/10 40.00%) (30 KiB/9.7 MiB 0.30%)
INFO[2019/01/02 22:00:28.196] img_list.pkl 9.6 MiB - start
INFO[2019/01/02 22:00:30.821] img_list.pkl 9.6 MiB - done (5/10 50.00%) (9.7 MiB/9.7 MiB 99.82%)
INFO[2019/01/02 22:00:30.827] label_list.pkl 142 B - start
INFO[2019/01/02 22:00:30.847] label_list.pkl 142 B - done (6/10 60.00%) (9.7 MiB/9.7 MiB 99.83%)
INFO[2019/01/02 22:00:30.850] local_main.py 7.6 KiB - start
INFO[2019/01/02 22:00:30.853] local_main.py 7.6 KiB - done (7/10 70.00%) (9.7 MiB/9.7 MiB 99.90%)
INFO[2019/01/02 22:00:30.856] main.py 7.6 KiB - start
INFO[2019/01/02 22:00:30.858] main.py 7.6 KiB - done (8/10 80.00%) (9.7 MiB/9.7 MiB 99.98%)
INFO[2019/01/02 22:00:30.863] nsml_tutorial.md 1.9 KiB - start
INFO[2019/01/02 22:00:30.865] nsml_tutorial.md 1.9 KiB - done (9/10 90.00%) (9.7 MiB/9.7 MiB 100.00%)
INFO[2019/01/02 22:00:30.869] setup.py 232 B - start
INFO[2019/01/02 22:00:30.872] setup.py 232 B - done (10/10 100.00%) (9.7 MiB/9.7 MiB 100.00%)
.....
Building docker image. It might take for a while
......
Session Sunny/ir_ph1/21 is started

콘솔에서 nsml 설치 완료 후 nsml 로그인까지 완료하고
nsml run -d ir_ph1 명령어로 실행하면 아래와 같은 에러가 발생합니다.

INFO[2019/01/02 15:50:15.175] Welcome to NSML!
(tensorflow) chuckui-MacBook-Pro:AI-Vision chuck$ nsml run -d ir_ph1
INFO[2019/01/02 15:50:21.656] .nsmlignore check - start
INFO[2019/01/02 15:50:21.656] .nsmlignore check - done
INFO[2019/01/02 15:50:21.693] file integrity check - start
INFO[2019/01/02 15:50:21.703] file integrity check - done
INFO[2019/01/02 15:50:21.708] .nsmlignore 16 B - start
INFO[2019/01/02 15:50:21.709] .nsmlignore 16 B - done (1/5 20.00%) (16 B/18 KiB 0.09%)
INFO[2019/01/02 15:50:21.709] README.md 9.1 KiB - start
INFO[2019/01/02 15:50:21.709] README.md 9.1 KiB - done (2/5 40.00%) (9.2 KiB/18 KiB 50.32%)
INFO[2019/01/02 15:50:21.709] data_loader.py 1.5 KiB - start
INFO[2019/01/02 15:50:21.710] data_loader.py 1.5 KiB - done (3/5 60.00%) (11 KiB/18 KiB 58.57%)
INFO[2019/01/02 15:50:21.710] main.py 7.3 KiB - start
INFO[2019/01/02 15:50:21.710] main.py 7.3 KiB - done (4/5 80.00%) (18 KiB/18 KiB 98.81%)
INFO[2019/01/02 15:50:21.710] setup.py 221 B - start
INFO[2019/01/02 15:50:21.710] setup.py 221 B - done (5/5 100.00%) (18 KiB/18 KiB 100.00%)
...Rejected: exceeded the maximum capacity of the cluster
Since cluster does not have enough computing resources, job has been aborted. Please retry later
Error: No machine available that meets ALL your request such as CPU, RAM, Disk, GPU or its driver version
FATA[2019/01/02 15:50:22.762] Internal server error

팀원들은 nsml을 이용할 수 없는건가요?
아니면 제가 잘못 사용하고 있는건가요?

안녕하십니까.

지원을 했으나, 갑작스런 일이 생겨 참가가 힘들거 같아서
취소를 해야할 상황이 생겼습니다. 이러한 경우 어떻게 취소를 해야 할까요?

답변 부탁드리겠습니다. 감사합니다.

연락은 개별메일로 오는지 궁금합니다.

1월 2일 13시 이후로 로그인 문제가 있으신분은 깃헙아이디와 팀이름, 이메일을 메일로 보내주시기바랍니다.

[email protected] 으로 보내주시면됩니다.

team이름이 한글인 팀과 5글자 이하로 만드신분들께는 별도의 안내메일을 발송할 예정입니다. 변경부탁드립니다. 해당 팀에게는 임의의 팀 이름을 부여한 상태입니다. (team_xxx 형식)

텐서플로우를 사용해서 모델을 checkpoint 파일(.ckpt)로 저장할 경우

nsml.bind(save=save, load=load, infer=infer)

의 save 함수에 텐서플로우 ckpt파일로 저장되게끔 하면 submit할때 알아서 로딩해서 제출이 되는건가요?

텐서플로우 버전의 베이스라인 코드가 있으면 참 좋을것 같은데요.. 아쉽네요... ㅠㅠ

안녕하세요. 네이버 AI 해커톤에 참가 신청을 한 라동민 이라고 합니다.
다름이 아니라, 참가 신청에 GitHub 아이디를 gn00246이라고 적었는데,
RaDongmin으로 변경 부탁드립니다.

Remove 버튼을 눌러도 Progress Bar만 보이고 삭제가 되질 않습니다.

저번 해커톤 때처럼 github 점수로 상위 팀들을 합격시키는건가요??

참가 동의서를 팀원 각각 제출하려했는데 1개밖에 올라가지않아 중복된 내용으로 하나 더 써야하는지 문의드립니다.

`Using TensorFlow backend.
Traceback (most recent call last):
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/pywrap_tensorflow.py", line 58, in
from tensorflow.python.pywrap_tensorflow_internal import *
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 28, in
_pywrap_tensorflow_internal = swig_import_helper()
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 24, in swig_import_helper
_mod = imp.load_module('_pywrap_tensorflow_internal', fp, pathname, description)
File "/opt/conda/lib/python3.5/imp.py", line 243, in load_module
return load_dynamic(name, filename, file)
File "/opt/conda/lib/python3.5/imp.py", line 343, in load_dynamic
return _load(spec)
ImportError: libcuda.so.1: cannot open shared object file: No such file or directory

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "main.py", line 16, in
import keras
File "/opt/conda/lib/python3.5/site-packages/keras/init.py", line 3, in
from . import utils
File "/opt/conda/lib/python3.5/site-packages/keras/utils/init.py", line 6, in
from . import conv_utils
File "/opt/conda/lib/python3.5/site-packages/keras/utils/conv_utils.py", line 9, in
from .. import backend as K
File "/opt/conda/lib/python3.5/site-packages/keras/backend/init.py", line 89, in
from .tensorflow_backend import *
File "/opt/conda/lib/python3.5/site-packages/keras/backend/tensorflow_backend.py", line 5, in
import tensorflow as tf
File "/opt/conda/lib/python3.5/site-packages/tensorflow/init.py", line 22, in
from tensorflow.python import pywrap_tensorflow # pylint: disable=unused-import
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/init.py", line 49, in
from tensorflow.python import pywrap_tensorflow
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/pywrap_tensorflow.py", line 74, in
raise ImportError(msg)
ImportError: Traceback (most recent call last):
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/pywrap_tensorflow.py", line 58, in
from tensorflow.python.pywrap_tensorflow_internal import *
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 28, in
_pywrap_tensorflow_internal = swig_import_helper()
File "/opt/conda/lib/python3.5/site-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 24, in swig_import_helper
_mod = imp.load_module('_pywrap_tensorflow_internal', fp, pathname, description)
File "/opt/conda/lib/python3.5/imp.py", line 243, in load_module
return load_dynamic(name, filename, file)
File "/opt/conda/lib/python3.5/imp.py", line 343, in load_dynamic
return _load(spec)
ImportError: libcuda.so.1: cannot open shared object file: No such file or directory

Failed to load the native TensorFlow runtime.

See https://www.tensorflow.org/install/install_sources#common_installation_problems

for some common reasons and solutions. Include the entire stack trace
above this error message when asking for help.
User session exited
`
윈도우 환경에서
baseline 코드를 실행했을 때 다음과 같은 오류가 발생하는데 이유를 모르겠습니다.

서류 통과해서 NSML 이용하려고 신청서에 쓴 github아이디를 입력했는데

인증이 안된다고 오류가 납니다.

transfer learning해도 되나요?

제목대로 위 사항이 궁금하여 문의드립니다.

nsml 등록이 안되고 있습니다. 서류면접 통과했다고 나왔는데
어디서 시작하는지 모르겠습니다.

참가 동의서를 출력한 다음에 거기에 참가 팀, 팀원 이름 등등을 적고 그걸 다시 스캔해서 내면 되는 건가요?
팀원 이름 부분은 한명이 다적으면 안되고 팀원이 다 각각 자기 글씨채로 적어야 하는 건가요?