部署

并行化

vllm ，deepspeed，llama.cpp，sglang

DeepSpeed

4️⃣ PEFT（HuggingFace）

6️⃣ TRL（Transformer Reinforcement Learning）

部署

分布式训练、算力优化等技术