memristor / mep3 Goto Github PK

commit: 2f84846

The cylinders that hold the hat are added but they are not detected by the Lidar. The bounding object and physics have been added to the cylinders. Is there something else needed to be added to the cylinders in order for them to be detected or does the Lidar not publish very small distances? @lukicdarkoo

To do

• Osnovno okruženje
  • Pod i zidovi (#8)
  • Tekstura poda (#8)
• Specijalizovani delovi (#101)
  • Razdvajanje dispensera u sredini (#96)
  • Model diska (#11)
  • Starting areas (#13)
  • Campsite
  • Gallery (#90)
  • Excavation squares (#21)
  • Exhibition hall (#97)
  • Excavation site (#13)
  • Work shed (#16)
  • Dispensers (#17)
  • Pedastal (#16)
  • Fixed beacon supports (#98)
  • Central tracking device (#12)

Make BT Subtrees to do the following actions on the purple side:

Big robot:

• Swap sample between hands
• Get the red__ sample, in the right playing area, into the right hand
• Get the green sample, in the right playing area, into the right hand
• Get the blue_ sample, in the right playing area, into the right hand
• No. 1: Get the blue_ sample, in the right middle vertical dispenser, into the right hand
• No. 2: Get the green sample, in the right middle vertical dispenser, into the right hand
• No. 3: Get the red__ sample, in the right middle vertical dispenser, into the right hand
• No. 1: Get the blue_ sample, in the purple vertical dispenser, into the right hand
• No. 2: Get the green sample, in the purple vertical dispenser, into the right hand
• No. 3: Get the red__ sample, in the purple vertical dispenser, into the right hand
• Get the red__ sample, in the purple horizontal dispenser, into the right hand
• Get the blue_ sample, in the purple horizontal dispenser, into the right hand
• Get the green sample, in the purple horizontal dispenser, into the right hand
• Get a sample from the excavation site
  
• Place the red__ sample in the campsite, with the right hand
• Place the green sample in the campsite, with the right hand
• Place the blue_ sample in the campsite, with the right hand
  
• Place the red__ sample on the gallery, with the right hand
• Place the green sample on the gallery, with the right hand
• Place the blue_ sample on the gallery, with the right hand
  
• Place a sample under the work shed, with the right hand
  
• Measure excavation square 5, with the right hand
• Measure excavation square 6, with the right hand
• Measure excavation square 7, with the right hand
• Measure excavation square 8, with the right hand
• Measure excavation square 9, with the right hand
• Push excavation square
• Return to the camp (task D11)
• Return to the excavation site (task D11)
• REPEAT Implement all tasks with the left hand
• REPEAT Implement all tasks on the yellow side

Small robot:

• Place replica
• Remove statuette
• Place statuette
• activate display cabinet (task D10)
• REPEAT Implement all tasks on the yellow side

Mislim da se nešto poremetilo u poslednja tri commit-a. Proverio sam ponovo commit cdb5aff, strategija se izvršava bez problema. Zanemariti protivničke robote, isto se dešava i kad oni nisu pored.

Should align dynamixel servo driver with webots simulation servo driver.

Ovo treba hitno resiti, previse vremena mi oduzima, nekad treda samo jedan paket da instaliram i moram menjati hotspot-ove. Plus treba nam pristup git repozitorijumu.

Prekucati:

https://github.com/memristor/mep2/blob/master/modules/drivers/Servo.py

u Ros node...

za MX ide drugi protokol
https://emanual.robotis.com/docs/en/dxl/protocol2/

Dusan: Blazic je koristio asyncio, a mislim da ne moras bas tako
Ima ovo da se povezes na CAN:
https://python-can.readthedocs.io/en/master/

BehaviorTree/Groot#148

To do:

• Ubaciti 3D model
• Napraviti boundingObject od primitivnih oblika

Predlazem da napravimo web alternativu Groot-u.

Utvrdili smo da Groot ima dosta problema, neke izmjene bi bile prihvacene od Groot tima, ali se bojim da ne bismo uspjeli da izmijenimo sve sto nam je potrebno. Vjerujem da nije previse kompleksno da reimplementiramo osnovne funkcionalnosti Groot editora.

Web verziju Groot-a bi mogli hostovati na memristorrobotics.com, a interfejs bi interagovao sa robotom preko posebnog, jednostavnog, daemon-a.

Sljedeca biblioteka bi trebalo da je od pomoci:
https://github.com/retejs/rete

https://github.com/cs01/pyxtermjs/blob/master/pyxtermjs/app.py
https://xtermjs.org/

WARNING: RobotMemristor (PROTO) > Shape > Mesh: Too many triangles (27604) in mesh: unable to cast shadows, please reduce the number of triangles below 21845 or set Shape.castShadows to FALSE to disable this warning.

Veoma je mala sansa, ali ipak je moguce da se desi restart kretacke ploce tokom rada.

Ponekad, RPP krene bas dosta da osciluje. Dodacu primjer koji se moze reprodukovati kasnije.

Potrebno je omogućiti slanje komandi sa računara preko CAN-a na Dynamixel aktuatore. Imamo primer koda koji je radio unutar mep2.
Skrenuo bih pažnju na problem koji je postojao tad: ukoliko se pošalje nekoliko komandi zaredom ka više servoa (pokrenuti 3-4 servoa istovremeno) desi se da neki ne odreaguje. Primitivno rešenje koje je korišćeno jeste ubacivanje malog sleep-a između komandi ka servoima.

Nije isključeno da je problem u firmveru aktuatorske ploče. Moguće je da se prijemni FIFO CAN kontrolera na aktuatorskoj prepuni. Treba proveriti i da li svi servoi imaju podesenu istu vrednost Response Delay Time.

Treba da implementiramo drajver za Dynamixel servoe preko ros2_control umjesto #68. Odlucili smo se za #68 zbog nedostataka u trenutnoj implementaciji JointTrajectoryController (npr. timeout se ne moze definisati na nivou akcije).

Takodje, vjerovatno bi bilo dobro izmijeniti prilagodnu da mozemo povezati Dynamixel servoe direktno na Raspberry Pi.

Additional info about the problem can be found on this link.
We need to find a way to tell the PnP algorithm that the z axis is always faced up, in order to minimize the rotation error.
Also, it would be nice if we could tell the algorithm that the z axis distance from the world frame (e.g. ArUco tag no. 42) is always 510 mm, in order to minimize the translation error.

• Iz nekog razloga ignorise globalne prepreke, kao da ne postoje (Darko)
• Cini mi se da DWA mnogo bolje radi, moj prijedlog je da vratimo DWA i da njega stimamo (Darko)

Vrednosti treba da budu:
orientation -0.33 0.33 1 1.67
position 0 -4.2 3.5

umesto:
orientation -0.5773502691896258 0.5773502691896258 0.5773502691896258 2.0944
position 0 0 10

Primetio sam za sad na sledećim mestima:

@angstrem98
Napravili smo prvu strategiju pomoću komande PreciseNavigateToAction, međutim ta akcija se vrti više nego što bi trebalo. Molim te uđi u commit e732ccd, i pokreni sledeće komande:

ros2 launch mep3_bringup simulation_launch.py

ros2 run mep3_behavior_tree mep3_behavior_tree first_strategy --ros-args -r __ns:=/big

Potrebno je pokernuti LCD iz ROS-a i obezbediti mehanizam za dodavanje bodova servis/akcija + odgovarajući BT čvor.

Cilj je napraviti sistemske testovi koji pokrecu simulaciju i provjeravaju poziciju elemenata (recimo robota) nakon izvrsene komande (recimo cmd_vel). Svi testovi treba da se izvrsavaju u CI na svaki komit.

Primjer testa:
https://github.com/cyberbotics/webots_ros2/blob/d18ed74aad165cba57a028dc62d0a391ae8c88ea/webots_ros2_tests/test/test_system_epuck.py#L91-L104

CI for ROS:
https://github.com/ros-industrial/industrial_ci

To do

• Napraviti Action workflow koji se poziva za komitove i PR
• U CI okruzenje dodati sve neophodne pakete i namestiti okruzenje
  • Napisati test koji radi colcon build
  • Napisati test koji radi colcon test
• Napisati test za proveru pomeranja probnog robota
  • Testirati ponasanje CI za oba slucaja - kada ocekujemo da test prodje i kada ocekujemo da ne prodje

Potrebno je unutar fajla mijenjati kada pokrecemo novu strategiju

Za brži rad u terminalu predlažem da dodamo sledeće alias-e u ~/.bashrc razvojnog okruženja:

• cb colcon build --symlink-install
• rr rm -rf ~/ros2_ws/install/ ~/ros2_ws/build/
• s source ~/ros2_ws/install/local_setup.bash
• sim ros2 launch mep3_simulation simulation_launch.py
• br ros2 launch mep3_bringup simulation_launch.py
• rv ros2 launch mep3_bringup rviz_launch.py

Ako imate još neku ideju, pišite u komentarima 🙃

To do

• Probni robot
  • Osnovni model (#8)
  • Motori za točkove (#8)
  • Senzori udaljenosti
  • Rotacioni enkoderi na točkovima
  • Lidar
  • ...
• Veliki robot
  • ...
• Mali robot
  • ...

Pored praćenja protivničkih robota LIDAR-om, dobro bi bilo i da pratimo diskove kamerom kako ih pri kretanju robot ne bi gurao.

Treba da integrisemo Navigation2 paket:
https://navigation.ros.org/

Primjer:
https://github.com/cyberbotics/webots_ros2/tree/master/webots_ros2_tiago

Ovo mozemo poceti odmah nakon #19

Reference:

• https://github.com/cyberbotics/webots_ros2/tree/master/webots_ros2_tiago/resource
  .rviz fajl samo prekopiraj i dodatna podrsavanja kroz UI mijenjaj (i cuvaj)
• https://github.com/cyberbotics/webots_ros2/blob/master/webots_ros2_tiago/launch/robot_launch.py#L83
  mapa neka za pocetak bude prazna
  Mozes je izmijeniti u GIMPu
• https://github.com/cyberbotics/webots_ros2/blob/d18ed74aad165cba57a028dc62d0a391ae8c88ea/webots_ros2_tiago/launch/robot_launch.py#L100
• https://github.com/cyberbotics/webots_ros2/blob/d18ed74aad165cba57a028dc62d0a391ae8c88ea/webots_ros2_tiago/launch/robot_launch.py#L109

This will be a basic ROS 2 integration, we need to expose only cmd_vel (Twist) and odom (Odometry) topics. It will allow us to command the robot and read the robot's position obtained through the wheel odometry.

The webots_ros2 package comes with a webots_ros2_control package that integrates ros2_control. Thanks to the ros2_control we can spin a diffdrive_controller node that will automatically expose necessary topics.

Reference:

• https://github.com/cyberbotics/webots_ros2/wiki/Tutorial-Creating-a-Custom-Package
• ros2 run teleop_twist_keyboard teleop_twist_keyboard

Example:

• https://github.com/cyberbotics/webots_ros2/tree/master/webots_ros2_turtlebot

To do

• Podesiti okruženje
• Opisati probnog robota u URDF
• Kontrola motora

If can0 is not up, RCLCPP_FATAL log error message is shown, but we should somehow kill everything since motion is not going to work.

Predložio bih da za sada, po defaultu i kamera i protivnički roboti budu isključeni kako bi se dodatni fičeri mogli lakše ubacivati i testirati (trenutno moramo ručno da isključimo kontrolere kad nešto novo radimo).

• Handling of the difference in GoalPosition arguments
• Add handling of errors to know what failure exactly happened
• Decide what to do if the command is unachievable? (Service call position is out of available range)

Some differences include GoalPosition arguments:

Izvući maksimalnu precznost RPP kontrolera.

/home/filip/galactic_ws/src/mep3/mep3_behavior_tree/include/mep3_behavior_tree/team_color_strategy_mirror.hpp:207:22: error: ‘static std::string mep3_behavior_tree::StrategyMirror::strip_server_name(const string&)’ cannot be overloaded with ‘static std::string mep3_behavior_tree::StrategyMirror::strip_server_name(const string&)’

Trenutna implementacija NavigateToAction akcije ne može da se halt-uje.

Test stablo za verifikaciju rešenja je na slici ispod. Robot treba da se zaustavi nakon 5 sekundi i da se tada ispiše
[ERROR] [ <timestamp> ] [behavior_tree_ros_node]: Halted the action

TODO referenca u kodu

Cilj da izbjegnemo manualno kombinovanje <Navigation/> i <PreciseNavigate/> vec da to kontroler sam radi. Primitive, kao sto su okreni se u mjestu i idi naprijed, mozemo definisati u behavior_server (msm da vec postoji sve sto nam je potrebno)

Imam problem sa učitavanjem statičkih transformacija terena u robot detection node, ako pokrenem:
ros2 run mep3_localization static_broadcaster
ros2 run mep3_localization robot_detection
Trebalo bi da se transformacije između kamere, mape i markera 42 učitaju u tf2 stablo, što se i vizualizuje u RViz-u i prikazuje preko komande npr. ros2 run tf2_ros tf2_echo map camera_static, kao i da se učitaju u robot detection node, ali se kod ovde i dalje blokira:

Nije nešto suštinski bitno, mogu se uneti transformacije ručno u kod, ali mi ovo deluje kao elegantnije rešenje.

Bacite pogled na excavation squares. Za sad koliko vidim, ostala su 2 problema da se reše:

1. Kolika je masa tih pločica, odnosno gustina drveta
2. Podesiti da zglob ima odgovarajući opseg. Ako povećam opseg koji može imati zglob, taj opseg kao da nestane kad primenim silu, odnosno pločice ne prestanu da se vrte. Koliko sam shvatio, maksimalni opseg zgloba je Pi. Poželjno bi bilo da kad pločice padnu, stoje vertikalno usled sile gravitacije, umesto pod uglom. I sad u toku simulacije se desi da se pločice vrte koji krug, ali završe u krajnjem dozvoljenom položaju zgloba.

Obezbediti raspberry za drugog robota i pripremiti SD kartice.

Potrebno je obezbediti komunikaciju sa senzorskom pločom i prikupiti podatke sa fotoelektričnih senzora.
Postoji poruka sensor_msgs/Range i podržava naš tip senzora (fiksna distanca). Uvezivanje sa nav2 paketom je jednostavno pomoću range_layer-a.

Sam podatak sa senzora prethodno treba obraditi, slično lidaru, da se ne detektuju predmeti van stola i statičke prepreka kao što je toranj.

Mehanika se malo menja i ruke ce se podizati gore-dole pomocu Lynxmotion HT1 servoa.

• Webots driver (#134)

Za ovakve situacije name treba PreciseNavigateToAction:

ali postoji mogucnost da nam se pojavi protivnik.

Moj prijedlog (mislim da je i @angstrem98 spominjao) je da napravimo subtree koji ce definisati ponasanje robota kada IR senzor detektuje nesto ispred robota. Recimo, robot moze u tom slucaju da stane, saceka 2s, ako i dalje postoji onda fejluje.

Trenutno postoji problem sa senkama, previše utiču na sliku, treba dodati smisleno osvetljenje...

@lukicdarkoo dao dobru ideju, da na slučajan način generišemo osvetljenje, simulirajući i npr okidanje blica, kamermana koji snima s uključenim svetlom, sunce pod uglom i slično.

A algoritme praviti da budu otporni na to.

Starting >>> mep3_navigation
--- stderr: mep3_navigation
CMake Error at CMakeLists.txt:23 (find_package):
By not providing "Findnav2_core.cmake" in CMAKE_MODULE_PATH this project
has asked CMake to find a package configuration file provided by
"nav2_core", but CMake did not find one.

Could not find a package configuration file provided by "nav2_core" with
any of the following names:

nav2_coreConfig.cmake
nav2_core-config.cmake

Add the installation prefix of "nav2_core" to CMAKE_PREFIX_PATH or set
"nav2_core_DIR" to a directory containing one of the above files. If
"nav2_core" provides a separate development package or SDK, be sure it has
been installed.

make: *** [Makefile:326: cmake_check_build_system] Error 1
__

Treba nam map -> odom TF umjesto odom -> base_link u distance-angle regulatoru

Pokretanje aplikacije na Raspberry Pi je sporo, moramo ubrzati. Vjerujem da brzinu pokretanje aplikacije najvise utice broj ROS cvorova, broj akcionih servera, Python implementacije i broj procesa. Evo prijedloga:

(pretpostavka da robot ima 8 Dynamixel motora i 4 vakum pumpe)
(pumpe prebaciti u servise)

Dodatno, uraditi review nav2 plugina koje koristimo:

Dosta tih plugina vjerujem da ne koristimo, a potencijalno kreiraju akcione klijente/servere. Recimo, Spin plugin je ucitan i kreira akcioni server, a ne koristimo ga.

Dodati model diska sa promenjivim ArUco markerima

To do

• Napraviti ROS2 paket za planiranje
• Integrisati BT biblioteku
• Dodati probni primer pomeranja robota
• Povezati sa simulacijom