大模型部署

LLM-TPU 项目简介

LLM-TPU 包含了各类开源生成式 AI 模型的移植部署例程，其中以 LLM 为主，也包含 Stable Diffusion（AI 绘画）。

项目仓库链接：LLM-TPU。

例程清单

Model	INT4	INT8	FP16/BF16	Huggingface Link
Baichuan2-7B		✔		LINK
ChatGLM3-6B	✔	✔	✔	LINK
CodeFuse-7B	✔	✔		LINK
DeepSeek-6.7B	✔	✔		LINK
Falcon-40B		✔	✔	LINK
Phi-3-mini-4k	✔	✔	✔	LINK
Qwen-7B	✔	✔	✔	LINK
Qwen-14B	✔	✔	✔	LINK
Qwen-72B	✔			LINK
Qwen1.5-0.5B	✔	✔	✔	LINK
Qwen1.5-1.8B	✔	✔	✔	LINK
Llama2-7B	✔	✔	✔	LINK
Llama2-13B	✔	✔	✔	LINK
LWM-Text-Chat	✔	✔	✔	LINK
Mistral-7B-Instruct	✔	✔		LINK
Stable Diffusion			✔	LINK
Stable Diffusion XL			✔	LINK
WizardCoder-15B	✔			LINK
Yi-6B-chat	✔	✔		LINK
Yi-34B-chat	✔	✔		LINK