Vitis AI Libraryを使用したアプリケーションを作成、動作確認する。
ハードウェア環境の構築などは以下を参照。

• DNNDK on Vitis AI on Ultra96v2
• Vitis AI Library on Ultra96v2

Xilinxが用意しているデモ

video_demo_app <model_name> <video_num> [-t <thread_num>]

シングルスレッド

video_single_th_app <model_name> <video_num>

• model_name : 使用できるモデルは、/usr/share/vitis_ai_library/modelsにあるものだけと思われる。現状、以下に対応。
  • Yolo v2: yolov2_voc yolov2_voc_pruned_0_66 yolov2_voc_pruned_0_71 yolov2_voc_pruned_0_77
  • Yolo v3: yolov3_adas_pruned_0_9 yolov3_bdd yolov3_voc yolov3_voc_tf
  • SSD Caffe:ssd_adas_pruned_0_95 ssd_mobilenet_v2 ssd_pedestrain_pruned_0_97 ssd_traffic_pruned_0_9
  • SSD Tensorflow:ssd_mobilenet_v1_coco_tf ssd_mobilenet_v2_coco_tf ssd_resnet_50_fpn_coco_tf
• video_num : Integer (X of /dev/videoX)
• thread_num : Xilinxが用意しているデモライブラリでのスレッド指定。DPUとのデータのやり取りが高速になる。

動作イメージ

Using USB Web Camera C615 (X forwarding). fpsは小数点以下切り捨てで測定した。同一条件でもけっこうばらつきがあると思われる。

ultra96v2ではDPUが一つしか実装できないのでDPUで律速になるような、重いモデルではマルチスレッドがほとんど効果がない。 スレッド構成は以下のようになっていて、DPUスレッドの数を引数で変更できるようになっている。

capture thread ---> DPU Threads(-t N) ---> imshow thread

single_thはシリアル処理。

capture, DPU, imshow (serial processing)

multi_thは下記のようなマルチスレッド処理。

capture thread ---> DPU Thread ---> imshow thread

yolov3_voc

yolov2_voc

ssd_mobilenet_v2

ssd_mobilenet_v2_coco_tf