Awesome LLM Frameworks

收集 LLM 全链路有关的框架和工具，供自己学习和参考

[TOC]

训练

• OpenRL
• alibaba/ROLL
• DeepSpeed

• Megatron

• 微调
  • hiyouga/LLaMA-Factory
• VLA
  • openvla/openvla
  • Physical-Intelligence/openpi

调度

• LLM-d
• aibrix
• NVIDIA-dynamo
• Ray
• sgl-project/rbg

Ckpt

• Mooncake
• NIXL

KV 管理

• Mooncake
• LM-Cache

推理

• vLLM
• SGlang
• TensorRT-LLM
• LMdeploy
• ktransformers
• ggml-org/llama.cpp
• thu-pacman/chitu
• alibaba/rtp-llm

• jd-opensource/xllm

• Nano vLLM

• mini-sglang

• accelerate
  • flashinfer-ai/flashinfer
  • Dao-AILab/flash-attention
  • SageAttention
• PD-disaggregation
  • LLMServe/DistServe
• Speculative-Decoding
  • SafeAILab/EAGLE
  • smart-lty/nano-PEARL

算子与通信

• deepseek-ai/DeepEP

• Triton

• PyTorch Distributed

• NIXL
• RDMA
• NVLimk
• PCIE
• Ascend HIXL

可观测

• Prometheus
• AIConfigurator
• AIprofiling

云原生

• Kubernetes
• slurm
• Docker
• Hami
• fluid-cloudnative/fluid

基础设施

• Hardware
  • CPU
  • GPU NVIDIA
  • NPU
  • Ascend
• Cloud
  • Aliyun
  • huoshan
  • tencent
  • AWS

Agent

• langchain
• n8n
• ReAct

• langchain-ai/deepagents

• google-gemini/gemini-cli
• openai/codex
• wecode-ai/Wegent