deployai / nndeploy Goto Github PK

比如，不需要 自己cp config.cmake 做修改，也不用 clone 内容到本地，
本地放一张图片和一个小模型，可以一个shell 跑起来？

或者，可以一个shell 拉取下来 模型和图片？不需要在 clone了

看到源码里边有half头文件了，但貌似没有使用，请问下是否已经支持half推理？

您好，请问下可以支持下旋转目标检测的C++部署吗？例如这个yolov8的

目前有部署大语言模型的demo吗？

Hi!

1. num_classes and input_size for model should be available as model init parameters, because there can be multiple custom trained models of the same type (ex Yolov*) in single project, with different input size and num_classes. It will prevent code duplication.

2. Add YOLOv6 model for RKNN, for now, its most performant NN model for object detection for Rockchip. But RKNN-optimized YOLOv6 model has different opt_head that significately improves inference time (look at: https://github.com/airockchip/YOLOv6/commit/aa12cf70ee1795d00538f78a8857efd0cf17f7e4

3. Add RTSP (live Video) codec, it's almost the same as Video, except it takes not a Path but rtsp url

代码中，CMakelist里有很多hardcoded 的路径。
写入了各位contributors的名字， /home/Always等等，可否更新管理一下，方便大家的使用。

谢谢！
支持你们。

我使用tensorrt后端尝试使用demo，但是graph->init() 速度耗时非常久，麻烦帮忙看一下0.0 感谢！

环境：GTX 3060 cuda 11.5 Tensorrt 8.6.1.6 opencv 4.6

运行的命令：
./demo_nndeploy_detect --name NNDEPLOY_YOLOV5 --inference_type kInferenceTypeTensorRt --device_type kDeviceTypeCodeCuda:0 --model_type kModelTypeOnnx --is_path --model_value ./yolov5s.onnx --codec_flag kCodecFlagImage --parallel_type kParallelTypeSequential --input_path ./test_data_detect_sample.jpg --output_path ./sample_output.jpg

结果：

请问下如果是多个线程同时访问单个pipeline，是否线程安全？如何避免线程冲突