人工智能算法部署例程¶
AIBOX-1684X 具备全面的人工智能算法本地私有化部署能力，无论是新颖、高算力需求的大语言模型，还是经典的 YOLOv5 目标检测模型，AIBOX-1684X 均可胜任。
本章节主要介绍 SOPHON-DEMO 项目，大模型部署请参考大模型部署例程这一章节。
例程清单¶
SOPHON-DEMO 提供的例子从易到难分为tutorial、sample、application三个模块：
tutorial模块存放一些基础接口的使用示例sample模块存放一些经典算法在SOPHONSDK上的串行示例application模块存放一些典型场景的典型应用。
| tutorial | 编程语言 |
|---|---|
| resize | C++/Python |
| crop | C++/Python |
| crop_and_resize_padding | C++/Python |
| sample | 算法类别 | 编程语言 | BModel |
|---|---|---|---|
| LPRNet | 车牌识别 | C++/Python | FP32/FP16/INT8 |
| ResNet | 图像分类 | C++/Python | FP32/FP16/INT8 |
| RetinaFace | 人脸检测 | C++/Python | FP32 |
| segformer | 语义分割 | C++/Python | FP32/FP16 |
| SAM | 语义分割 | Python | FP32/FP16 |
| yolact | 实例分割 | C++/Python | FP32/FP16/INT8 |
| YOLOv8_seg | 实例分割 | C++/Python | FP32/FP16/INT8 |
| PP-OCR | OCR | C++/Python | FP32/FP16 |
| OpenPose | 人体关键点检测 | C++/Python | FP32/FP16/INT8 |
| C3D | 视频动作识别 | C++/Python | FP32/FP16/INT8 |
| DeepSORT | 多目标跟踪 | C++/Python | FP32/FP16/INT8 |
| ByteTrack | 多目标跟踪 | C++/Python | FP32/FP16/INT8 |
| CenterNet | 目标检测、姿态识别 | C++/Python | FP32/FP16/INT8 |
| YOLOv5 | 目标检测 | C++/Python | FP32/FP16/INT8 |
| YOLOv34 | 目标检测 | C++/Python | FP32/INT8 |
| YOLOX | 目标检测 | C++/Python | FP32/INT8 |
| SSD | 目标检测 | C++/Python | FP32/INT8 |
| YOLOv7 | 目标检测 | C++/Python | FP32/FP16/INT8 |
| YOLOv8_det | 目标检测 | C++/Python | FP32/FP16/INT8 |
| YOLOv5_opt | 目标检测 | C++/Python | FP32/FP16/INT8 |
| ppYOLOv3 | 目标检测 | C++/Python | FP32/FP16/INT8 |
| ppYoloe | 目标检测 | C++/Python | FP32/FP16 |
| WeNet | 语音识别 | C++/Python | FP32/FP16 |
| BERT | 语言模型 | C++/Python | FP32/FP16 |
| ChatGLM2 | 语言模型 | C++/Python | FP16/INT8/INT4 |
| Llama2 | 语言模型 | C++ | FP16/INT8/INT4 |
| ChatGLM3 | 语言模型 | Python | FP16/INT8/INT4 |
| Qwen | 语言模型 | Python | FP16/INT8/INT4 |
| StableDiffusionV1.5 | 图像生成 | Python | FP32/FP16 |
| application | 应用场景 | 编程语言 |
|---|---|---|
| VLPR | 多路车牌检测+识别 | C++/Python |
| YOLOv5_multi | 多路目标检测 | C++ |
| YOLOv5_multi_QT | 多路目标检测+QT_HDMI显示 | C++ |