weblog

Appearance

OpenMMLab 最全面的 PyTorch 视觉生态 ​

1. 简介 ​

OpenMMLab 是由香港中文大学多媒体实验室（MMLab）与商汤科技联合发起、基于 PyTorch 的开源计算机视觉（CV）算法生态，由香港中文大学多媒体实验室与商汤科技联合启动的开源算法体系，涵盖 30+ 视觉算法库与 2000+ 预训练模型 。

  • 官网：https://openmmlab.com/
  • GitHub：https://github.com/open-mmlab
  • ‌主要项目‌：核心库包括 MMCV（基础库）、MMDetection（目标检测）、MMPreTrain（预训练）及 MMagic（AIGC 生成）等 。
  • 定位：学术研究 + 工业落地双驱动，一套环境跑遍主流视觉任务。
  • 覆盖任务：检测、分割、分类、姿态、跟踪、3D、超分辨等。

2. 优势（为什么选 OpenMMLab） ​

OpenMMLab 是中文世界最成熟、最全面的 PyTorch 视觉生态，以统一架构、模块化、配置驱动为核心，覆盖从学术到工业、从基础视觉到 AIGC 的全链路需求。

  • 对新手：一套环境学懂所有 CV 任务，快速上手项目。
  • 对研究者：高效复现与验证 idea，专注创新而非工程。
  • 对工程师：开箱即用、稳定可靠、部署友好，快速落地业务。

核心优势 ​

  1. 算法最全、复现最准
  • 覆盖几乎所有主流 CV 算法，论文出来后快速开源官方实现。
  • 所有算法严格对齐论文指标，提供完整训练日志与预训练权重。
  1. 模块化 + 配置驱动，研发效率极高
  • 不用写大量代码，改配置文件即可组合模型、调参、换数据。
  • 示例：在 MMDetection 中把 ResNet 换成 Swin Transformer，只需改一行配置。
  1. 统一接口、无缝协同
  • 所有工具箱数据结构、训练流程、推理接口一致，学一个就能通所有。
  • 可自由组合：如 MMDetection（检测）+ MMPose（姿态）+ MMTracking（跟踪） 搭建完整系统。
  1. 工业级性能 + 全链路部署
  • 核心算子 CUDA 加速，训练 / 推理速度领先同类框架。
  • MMDeploy 打通从训练到边缘设备的最后一公里，支持模型压缩 + 推理加速。
  1. 社区活跃、文档完善
  • 中文文档详尽、教程丰富、B 站 / 知乎 / 公众号有大量入门到进阶内容。
  • Issue 响应快、版本迭代频繁、持续跟进最新算法。

3. 生态全景：20+ 工具箱，覆盖全视觉任务 ​

OpenMMLab 包含20+ 专业工具箱、300+ 主流算法、2400+ 预训练模型，覆盖从基础视觉到 AIGC、3D、多模态。

1. 底层基础（核心依赖） ​

  • MMEngine：统一训练引擎，提供 Runner/Hook/Logger/ 评估器，支撑所有任务的训练流程。

  • MMCV：计算机视觉基础库，含 IO / 图像视频处理 / CUDA 加速算子 / 通用层，是所有工具箱的基石。

  • MIM：OpenMMLab 包管理工具，一键安装所有工具箱、管理版本、快速启动任务。

2. 核心视觉任务（常用工具箱） ​

工具箱任务代表作
MMClassification图像分类ResNet、Swin、ViT、ConvNeXt
MMDetection2D 目标检测 / 实例分割Faster R-CNN、YOLO、Mask R-CNN、RTMDet
MMYOLOYOLO 系列专项YOLOv3/v5/v7/v8/x、RTMDet（工业首选）
MMSegmentation语义分割U-Net、DeepLabv3+、MaskFormer、SegFormer
MMPose2D/3D 姿态估计HRNet、DarkPose、RTMPose（轻量 SOTA）
MMOCR文字检测 / 识别DBNet、CRNN、SVTR、TextSnake
MMDetection3D3D 目标检测PointPillars、VoteNet、DETR3D、 bevdet
MMRotate旋转框检测RRCNN、RoI Transformer、OBB 系列
MMAction2视频理解 / 行为识别SlowFast、TSM、I3D、VideoSwin
MMTracking多目标跟踪SORT、DeepSORT、ByteTrack、OC-SORT

3. 进阶 / 前沿方向 ​

  • MMagic：图像生成 / 超分 / 修复 / 抠图，支持 GAN、Stable Diffusion 微调、3D 生成。

  • MMSelfSup：自监督学习，MoCo、SimCLR、BEiT、MAE。

  • MMRazor：模型压缩，剪枝、量化、知识蒸馏、NAS。

  • MMFewShot：少样本 / 小样本学习，Prototypical、MatchingNet、MAML。

  • MMHuman3D：人体参数化模型，SMPL、3D 人体重建。

4. 部署生态 ​

  • MMDeploy：一键部署所有 OpenMMLab 模型，支持 ONNX/TensorRT/OpenVINO/TorchScript，适配 GPU/CPU/ 嵌入式 / 移动端。

5. 安装与示例 ​

1. 安装（推荐用 MIM） ​

bash
# 1. 安装 MIM
pip install openmim

# 2. 一键安装所有核心工具箱（含 MMCV/MMEngine）
mim install mmdet mmcls mmseg mmpose

2. 快速示例：用 MMDetection 推理 ​

python
from mmdet.apis import init_detector, inference_detector
# 加载配置与权重（自动下载预训练模型）
model=init_detector(
    config='configs/rtmdet/rtmdet_tiny_8xb32-300e_coco.py',
    checkpoint='rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e3b92f.pth',
    device='cuda:0'
)
# 推理
result=inference_detector(model, 'demo.jpg')
# 可视化
model.show_result('demo.jpg', result, out_file='result.jpg')

京ICP备2024093538号-1

自用笔记本