人工智能算法部署

AIBOX-1684X 具备全面的人工智能算法本地私有化部署能力，无论是新颖、高算力需求的大语言模型，还是经典的 YOLOv5 目标检测模型，AIBOX-1684X 均可胜任。

本章节主要介绍 SOPHON-DEMO 项目，大模型部署请参考大模型部署这一章节。

SOPHON-DEMO 项目简介

SOPHON-DEMO 包含了一系列主流人工智能算法的移植例程，以及详细的部署文档以便于用户运行。

项目仓库链接：SOPHON-DEMO。

例程清单

SOPHON-DEMO 提供的例子从易到难分为 tutorial、sample、application 三个模块：

• tutorial 模块存放一些基础接口的使用示例。

• sample 模块存放一些经典算法在SOPHONSDK上的串行示例。

• application 模块存放一些典型场景的典型应用。

tutorial	编程语言
resize	C++/Python
crop	C++/Python
crop_and_resize_padding	C++/Python
ocv_jpubasic	C++/Python
ocv_vidbasic	C++/Python
blend	C++/Python
stitch	C++/Python

sample	算法类别	编程语言	BModel
LPRNet	车牌识别	C++/Python	FP32/FP16/INT8
ResNet	图像分类	C++/Python	FP32/FP16/INT8
RetinaFace	人脸检测	C++/Python	FP32
segformer	语义分割	C++/Python	FP32/FP16
SAM	语义分割	Python	FP32/FP16
yolact	实例分割	C++/Python	FP32/FP16/INT8
YOLOv8_seg	实例分割	C++/Python	FP32/FP16/INT8
PP-OCR	OCR	C++/Python	FP32/FP16
OpenPose	人体关键点检测	C++/Python	FP32/FP16/INT8
C3D	视频动作识别	C++/Python	FP32/FP16/INT8
DeepSORT	多目标跟踪	C++/Python	FP32/FP16/INT8
ByteTrack	多目标跟踪	C++/Python	FP32/FP16/INT8
CenterNet	目标检测、姿态识别	C++/Python	FP32/FP16/INT8
YOLOv5	目标检测	C++/Python	FP32/FP16/INT8
YOLOv34	目标检测	C++/Python	FP32/INT8
YOLOX	目标检测	C++/Python	FP32/INT8
SSD	目标检测	C++/Python	FP32/INT8
YOLOv7	目标检测	C++/Python	FP32/FP16/INT8
YOLOv8_det	目标检测	C++/Python	FP32/FP16/INT8
YOLOv5_opt	目标检测	C++/Python	FP32/FP16/INT8
ppYOLOv3	目标检测	C++/Python	FP32/FP16/INT8
ppYoloe	目标检测	C++/Python	FP32/FP16
WeNet	语音识别	C++/Python	FP32/FP16
BERT	语言模型	C++/Python	FP32/FP16
ChatGLM2	语言模型	C++/Python	FP16/INT8/INT4
Llama2	语言模型	C++/Python	FP16/INT8/INT4
ChatGLM3	语言模型	Python	FP16/INT8/INT4
Qwen	语言模型	Python	FP16/INT8/INT4
Qwen1_5	语言模型	Python	FP16/INT8/INT4
StableDiffusionV1.5	图像生成	Python	FP32/FP16
GroundingDINO	多模态目标检测	Python	FP16

application	应用场景	编程语言
VLPR	多路车牌检测+识别	C++/Python
YOLOv5_multi	多路目标检测	C++
YOLOv5_multi_QT	多路目标检测+QT_HDMI显示	C++