Git Product home page Git Product logo

cook_eyes's Introduction

Hi, I'm Naoaki

  • 🌱 I'm a Ph.D. student at The University of Tokyo.
  • 👨‍🎓 My major is mechanical and information engineering.

For more information, please visit my web page below.
https://kanazawanaoaki.github.io/

cook_eyes's People

Contributors

kanazawanaoaki avatar knorth55 avatar

Stargazers

avatar

Watchers

avatar

Forkers

knorth55 shmpwk

cook_eyes's Issues

Potato 0.84が左上に表示されるだけになってしまった

自作データセットでSSDの学習を試してみたが、左上にPotatoが表示されるだけのものになってしまった...
使ったのは、20200515-214217-one_more_dataset

$ rosrun jsk_perception image_publisher.py _file_name:=FILE_PATH

でtrainに使ったjpg画像をパブリッシュして、認識を試してみると以下のような結果になった。
左上にじゃがいもがくる画像が多かったせいか、ほぼ固定位置にpotato 0.84が表示されるか、何も表示されないかになってしまった。

Screenshot from 2020-05-15 22-26-17
Screenshot from 2020-05-15 22-26-27
Screenshot from 2020-05-15 22-26-49
Screenshot from 2020-05-15 22-27-01
Screenshot from 2020-05-15 22-27-28
Screenshot from 2020-05-15 22-27-39
Screenshot from 2020-05-15 22-27-50

圧縮トピックを保存したrosbagの点群がカクカクしている

(https://gist.github.com/Kanazawanaoaki/f6b533c8219252f19befe570e449a2ea#file-rosbag_compressed_record-launch )のように圧縮されたrgb画像やdepth画像のrosbagを保存し、
(https://gist.github.com/Kanazawanaoaki/f6b533c8219252f19befe570e449a2ea#file-depth2ptcloud-launch ) のようにして再構成しているが、画像はまだましだけど点群がかなりカクカクしている。

(https://drive.google.com/file/d/1NAkvrk4bqJeafvFwC8-Z4iP47g-Y7T5t/view?usp=sharing )のrosbagを使って行うと、

roslaunch kitchen_recognition depth2ptcloud.launch

rosbag play com_test.bag -l --clock

(https://youtu.be/D6D_ldioWc8 )このような結果になった。

データセットが変で学習出来ない

作成したデータセットを使って学習のスクリプトを実行すると、

Traceback (most recent call last):
  File "create_tf_record.py", line 155, in <module>
    tf.app.run()
  File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/platform/app.py", line 125, in run
    _sys.exit(main(argv))
  File "create_tf_record.py", line 151, in main
    create_tf_record(root_dir, output_path)
  File "create_tf_record.py", line 140, in create_tf_record
    img_path, class_label_path, instance_label_path, class_names)
  File "create_tf_record.py", line 72, in get_tf_example
    cls_lbl = np.argmax(np.bincount(class_label[inst_mask]))
  File "/usr/local/lib/python2.7/dist-packages/numpy/core/fromnumeric.py", line 1037, in argmax
    return _wrapfunc(a, 'argmax', axis=axis, out=out)
  File "/usr/local/lib/python2.7/dist-packages/numpy/core/fromnumeric.py", line 51, in _wrapfunc
    return getattr(obj, method)(*args, **kwds)
ValueError: attempt to get argmax of an empty sequence

のようなエラーが出てしまう。

./run.sh 20200515-145232-dataset --port 6000 bash
+ cd /tensorflow/models/research/scripts
+ python create_tf_record.py --data_dir=/tensorflow/models/research/20200515-145232-dataset --output_dir=/tensorflow/models/research/20200515-145232-dataset

のようにして確認してみる。
https://gist.github.com/Kanazawanaoaki/53050022fc1a7cfaba87a9c5bb862889
のようにプリント文を入れてlogを見ると、class_label[inst_mask]が空になってしまっているデータが一定数ありそれがエラーを起こしているみたい。

Lossが発散してしまう

密集もしていない、しかもTrainとTestが一緒である簡単なデータセットを作成して学習をしてみたが、上手く行かずLossが発散してしまった。
Screenshot from 2020-05-17 00-58-20

縦長の画像のアノテーションが上手くできていない

labelmeによってアノテーションを行っているが、縦長の画像に対してのアノテーションが上手く言っていない可能性がある。
very_easy_data/train/382076.jpg

labelme --labels labels.txt very_easy_data/train/382076.jpg

Screenshot from 2020-05-17 20-56-00

labelme_draw_label_png very_easy_datasets/train/SegmentationClassPNG/382076.png

Screenshot from 2020-05-17 20-58-40
画像が途中で切れてしまって上手くアノテーションが出来ていない気がする。

SSDの検出結果からBoundingBoxをだす

jsk-ros-pkg/jsk_recognition#2511 を使ってRectArray -> ClusterPointIndicesの変換をしてその出力をhttps://github.com/jsk-ros-pkg/jsk_recognition/blob/master/jsk_pcl_ros/sample/tabletop_object_detector.launch のeuclidean clusteringの部分を置き換える。

aaf54ab#diff-363e68923b115984009fddf2cdcfe078 を作って試して見ましたが、上手くバウンディングボックスが出ませんでした。
Screenshot from 2020-06-10 14-31-38

実行しているのは、

roslaunch kitchen_recognition tabletop_test_ssd_vegs.launch

roslaunch kitchen_recognition depth2ptcloud.launch gui:=false

https://github.com/Kanazawanaoaki/cook_eyes_coral/tree/master/curry_detector_ros のCoral TPUのSSDのlaunchを走らせる

roslaunch curry_detector_ros edgetpu_vegs_detector.launch INPUT_IMAGE:=/camera/rgb/image_raw

https://drive.google.com/file/d/1PVW_1rERg6YojUP5fFfc3UdM2Mx2U2s3/view?usp=sharing のrosbagを再生する。

rosbag play vegs_test.bag -l

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.