JetPack¶
JetPack 包括带有引导加载程序的 Jetson Linux、Linux 内核、Ubuntu 桌面环境，以及一整套用来为 GPU 计算、多媒体、图形和计算机视觉加速的库。它还包含用于主机和开发者套件的示例、文档和开发者工具，并支持更高级别的 SDK，例如用于流媒体视频分析的 DeepStream、用于机器人开发的 Isaac 以及用于对话式 AI 的 Riva。
安装¶
sudo apt update
sudo apt install nvidia-jetpack
TensorRT¶
NVIDIA TensorRT 是用于高性能深度学习推理的 API 生态系统。TensorRT 包括推理运行时和模型优化，可为生产应用提供低延迟和高吞吐量。TensorRT 生态系统包括 TensorRT、TensorRT-LLM、TensorRT 模型优化器和 TensorRT Cloud。 TensorRT 优势:
推理速度提升 36 倍
优化推理性能
加速各种工作负载
使用 Triton 进行部署、运行和扩展
边缘生成式 AI¶
NVIDIA Jetson Orin 可提供非凡的 AI 计算能力、大容量统一内存和全面的软件堆栈，能够以超高能效驱动最新的生成式 AI 应用。 它能够使任何由 Transformer 架构提供支持的生成式 AI 模型进行快速推理，在 MLPerf 上实现卓越的边缘性能。 通过 Jetson AI 实验室，您可以学习相关教程，了解文本生成、文本 + 视觉模型、图像生成和蒸馏技术，还可以获取在 NVIDIA Jetson Orin 上运行这些模型所需的资源。
文本生成: LLM¶
模型： llama-2-7b-chat.Q4_K_M.gguf
试用方式¶
方式一¶
AIBOX-Orin Nano 端和 PC 端在同一局域网
在 AIBOX-Orin Nano 端运行
jetson-containers run $(autotag text-generation-webui)打开 PC 端浏览器并访问
http://<AIBOX-Orin Nano IP_ADDRESS>:7860
方式二¶
在 AIBOX-Orin Nano 端运行
jetson-containers run $(autotag text-generation-webui)打开 AIBOX-Orin Nano 端的浏览器并访问
http://0.0.0.0:7860
加载模型¶
在浏览器页面加载模型：
点击 “Model”
点击 “🔄”
选择 “TheBloke_Llama-2-7b-Chat-GGUF”
设置
n-gpu-layers为128设置
n_ctx为3072点击 “Load”
图像生成: Stable Diffusion¶
模型： v1-5-pruned-emaonly.safetensors
试用方式¶
方式一¶
AIBOX-Orin Nano 端和 PC 端在同一局域网
在 AIBOX-Orin Nano 端运行
jetson-containers run $(autotag stable-diffusion-webui)打开 PC 端浏览器并访问
http://<AIBOX-Orin Nano IP_ADDRESS>:7860
方式二¶
在 AIBOX-Orin Nano 端运行
jetson-containers run $(autotag stable-diffusion-webui)打开 AIBOX-Orin Nano 端的浏览器并访问
http://0.0.0.0:7860
加载模型¶
在浏览器页面加载模型
