Python资源汇总大全

说明：本清单优先选取社区知名度高、长期维护、生态影响力大的 Python 项目。适合后端开发、数据处理、自动化脚本、AI 应用、测试工具和工程化实践参考。

目录

• 贡献
• Python核心项目 Core Projects
• 包管理与环境管理 Package & Environment
• Web框架 Web Frameworks
• API与数据校验 API & Validation
• 异步与网络 Async & Networking
• 数据库与ORM Database & ORM
• 爬虫与网页解析 Crawling & Parsing
• 数据科学 Data Science
• 机器学习与AI Machine Learning & AI
• 任务队列与调度 Task Queue & Scheduler
• 日志与调试 Logging & Debugging
• 测试 Testing
• 代码质量 Code Quality
• 命令行与终端 CLI & TUI
• 自动化与运维 Automation & DevOps
• 安全 Security
• 文档 Documentation
• 学习与经典项目 Learning Projects
• 推荐项目组合
• 示例代码

贡献

如果要继续扩展这个列表，建议按照下面标准添加项目：

1. GitHub Star 数量较高，社区活跃。
2. 最近仍在维护，有稳定版本发布。
3. 有完整文档、示例和测试。
4. 在实际工程中有较多应用场景。
5. 优先选择官方组织、基金会或成熟团队维护的项目。

Python核心项目 Core Projects

Python语言、官方工具和核心生态项目

• CPython - Python 官方解释器源码，也是 Python 语言本身的主要实现。
• PEPs - Python Enhancement Proposals，记录 Python 语言改进提案。
• typeshed - Python 标准库和第三方库的类型标注仓库。
• mypy - Python 静态类型检查工具。
• PyPI - Python 官方第三方包索引平台。

包管理与环境管理 Package & Environment

依赖管理、虚拟环境、项目构建和发布工具

• pip - Python 最常用的包安装工具。
• setuptools - Python 项目打包、构建和分发工具。
• wheel - Python wheel 包格式支持工具。
• Poetry - Python 依赖管理和打包工具，适合现代项目。
• PDM - 支持 PEP 582 的现代 Python 包管理器。
• uv - 高性能 Python 包管理和环境管理工具。
• pipx - 用隔离环境安装和运行 Python 命令行工具。
• virtualenv - Python 虚拟环境创建工具。
• pyenv - 多版本 Python 管理工具。
• conda - 跨语言环境和包管理工具，常用于数据科学和 AI 环境。

Web框架 Web Frameworks

用于开发网站、后台系统、管理系统和服务端应用

• Django - 大而全的 Web 框架，内置 ORM、Admin、认证、模板和安全机制。
• Flask - 轻量级 Web 框架，适合中小型项目和灵活组合。
• FastAPI - 高性能 API 框架，基于类型标注和自动 OpenAPI 文档。
• Tornado - Web 框架和异步网络库，适合长连接和实时服务。
• Sanic - 面向异步场景的高性能 Web 框架。
• Bottle - 单文件轻量级 Web 框架。
• Pyramid - 灵活、可扩展的 Web 框架。
• Starlette - 轻量级 ASGI 框架，也是 FastAPI 的底层基础之一。

API与数据校验 API & Validation

接口开发、参数校验、序列化和 OpenAPI 文档生成

• Django REST framework - Django 生态中最常用的 REST API 框架。
• Pydantic - 基于类型标注的数据校验和配置管理工具。
• Marshmallow - 对象序列化、反序列化和数据校验库。
• apispec - OpenAPI 规范生成工具。
• Connexion - 基于 OpenAPI 规范优先的 API 框架。
• Strawberry GraphQL - 现代 Python GraphQL 框架。
• Ariadne - Schema-first 风格的 GraphQL 服务端库。

异步与网络 Async & Networking

HTTP 客户端、异步网络、WebSocket 和网络服务开发

• Requests - 经典 HTTP 客户端库，接口简单，使用广泛。
• HTTPX - 支持同步和异步的现代 HTTP 客户端。
• aiohttp - 异步 HTTP 客户端和服务端框架。
• websockets - WebSocket 客户端和服务端库。
• Uvicorn - ASGI 服务器，常用于 FastAPI 和 Starlette。
• Gunicorn - Python WSGI HTTP Server，常用于生产部署。
• Celery - 分布式任务队列，常与 Redis 或 RabbitMQ 搭配。

数据库与ORM Database & ORM

数据库访问、ORM、迁移工具和缓存客户端

• SQLAlchemy - Python 最成熟的 ORM 和 SQL 工具包之一。
• Alembic - SQLAlchemy 官方数据库迁移工具。
• Peewee - 简洁轻量的 ORM。
• Tortoise ORM - 异步 ORM，适合 FastAPI 等异步项目。
• Django ORM - Django 内置 ORM，适合管理后台和业务系统。
• psycopg - PostgreSQL Python 驱动。
• PyMySQL - MySQL 纯 Python 驱动。
• mysqlclient - MySQL C 扩展驱动，性能较好。
• redis-py - Redis 官方 Python 客户端。
• Motor - MongoDB 异步 Python 驱动。

爬虫与网页解析 Crawling & Parsing

网页抓取、HTML解析、浏览器自动化和反爬场景基础工具

• Scrapy - 成熟的 Python 爬虫框架，支持管道、调度、下载器中间件。
• Beautiful Soup - HTML/XML 解析库，适合简单页面解析。
• lxml - 高性能 XML/HTML 解析库。
• Playwright for Python - 浏览器自动化工具，适合动态页面采集和自动化测试。
• Selenium - 老牌浏览器自动化测试工具。
• PyQuery - 类似 jQuery 语法的 HTML 解析工具。
• parsel - Scrapy 使用的选择器解析库。
• feedparser - RSS/Atom Feed 解析库。

数据科学 Data Science

数据处理、科学计算、可视化和交互式分析

• NumPy - Python 科学计算基础库，提供多维数组和向量化计算能力。
• pandas - 数据分析和表格数据处理库。
• Polars - 高性能 DataFrame 库，适合大数据量分析。
• SciPy - 科学计算算法库。
• Matplotlib - Python 经典绘图库。
• Seaborn - 基于 Matplotlib 的统计可视化库。
• Plotly.py - 交互式可视化库。
• Bokeh - 面向浏览器的交互式可视化库。
• Jupyter Notebook - 交互式 Notebook 环境。
• JupyterLab - Jupyter 下一代交互式开发环境。
• DuckDB Python - 嵌入式分析型数据库，适合本地数据分析。

机器学习与AI Machine Learning & AI

机器学习、深度学习、大模型应用、训练和推理工具

• scikit-learn - 经典机器学习库，提供分类、回归、聚类、降维等算法。
• PyTorch - 深度学习框架，研究和工程应用都很广泛。
• TensorFlow - Google 开源的深度学习框架。
• Keras - 高层神经网络 API。
• Transformers - Hugging Face 的大模型生态核心库。
• Diffusers - 文生图、扩散模型相关工具库。
• Datasets - 机器学习数据集加载和处理库。
• LangChain - LLM 应用开发框架，支持工具调用、链式编排和 RAG。
• LlamaIndex - 面向 LLM 的数据索引和 RAG 框架。
• vLLM - 高吞吐大模型推理引擎。
• Ray - 分布式计算框架，可用于训练、调度和服务化。
• MLflow - 机器学习实验管理、模型注册和部署工具。
• ONNX Runtime - 跨平台模型推理引擎。
• OpenCV Python - OpenCV 的 Python 包，适合图像处理和视觉任务。

任务队列与调度 Task Queue & Scheduler

后台任务、定时任务、异步任务和分布式执行

• Celery - Python 最知名的分布式任务队列之一。
• RQ - 基于 Redis 的简单任务队列。
• Dramatiq - 简洁可靠的后台任务处理库。
• APScheduler - Python 定时任务调度库。
• Huey - 轻量级任务队列。
• Prefect - 数据流和任务编排平台。
• Apache Airflow - 工作流调度和数据管道编排平台。

日志与调试 Logging & Debugging

日志记录、异常追踪、调试和终端输出增强

• Loguru - 简洁易用的 Python 日志库。
• structlog - 结构化日志库，适合服务端和微服务场景。
• Rich - 终端富文本输出、表格、进度条和 Traceback 美化。
• icecream - 更好用的 print 调试工具。
• Sentry Python SDK - 异常监控和错误上报 SDK。
• debugpy - VSCode Python 调试器底层库。
• PySnooper - 轻量级代码执行跟踪工具。

测试 Testing

单元测试、接口测试、属性测试、覆盖率和 Mock 工具

• pytest - Python 最常用的第三方测试框架。
• unittest - Python 标准库内置测试框架。
• coverage.py - Python 代码覆盖率统计工具。
• Hypothesis - 属性测试工具，可自动生成测试数据。
• tox - 多环境测试自动化工具。
• nox - Python 自动化测试会话工具。
• responses - Mock requests 请求。
• pytest-mock - pytest 的 mock 插件。
• factory_boy - 测试数据工厂库。

代码质量 Code Quality

格式化、Lint、类型检查、导入排序和提交前检查

• Ruff - 高性能 Python Linter 和格式化工具。
• Black - Python 代码格式化工具。
• isort - import 排序工具。
• Flake8 - Python Lint 工具。
• Pylint - 功能丰富的静态代码分析工具。
• mypy - 静态类型检查工具。
• pyright - Microsoft 开源的 Python 类型检查器。
• pre-commit - Git 提交前钩子管理工具。
• Bandit - Python 安全问题扫描工具。

命令行与终端 CLI & TUI

命令行工具开发、终端界面和交互式应用

• Click - 成熟的命令行工具开发库。
• Typer - 基于类型标注的 CLI 框架，体验接近 FastAPI。
• argparse - Python 标准库命令行参数解析工具。
• Rich - 终端美化输出库。
• Textual - Python TUI 应用框架。
• prompt_toolkit - 交互式命令行和 REPL 构建工具。
• questionary - 命令行交互式问答库。

自动化与运维 Automation & DevOps

服务器自动化、部署、远程执行和配置管理

• Ansible - 自动化运维和配置管理工具。
• Fabric - Python 远程命令执行和部署工具。
• Invoke - Python 任务执行工具，可替代 Makefile 的部分场景。
• Supervisor - 进程管理工具，常用于守护 Python 服务。
• Docker SDK for Python - Docker API 的 Python SDK。
• Paramiko - SSHv2 协议 Python 实现。
• psutil - 系统进程和资源监控库。

安全 Security

加密、安全扫描、密码处理、JWT 和认证相关工具

• cryptography - Python 加密算法和安全基础库。
• PyJWT - JSON Web Token 编码和解码库。
• Passlib - 密码哈希和校验库。
• python-jose - JOSE/JWT/JWS/JWE 工具库。
• Bandit - Python 安全静态分析工具。
• Safety - Python 依赖漏洞检查工具。
• pip-audit - PyPA 官方生态下的依赖漏洞扫描工具。

文档 Documentation

项目文档、API文档和静态站点生成工具

• Sphinx - Python 官方文档体系常用的文档生成工具。
• MkDocs - Markdown 风格的静态文档站点生成器。
• Material for MkDocs - 非常流行的 MkDocs 主题。
• pdoc - 自动生成 Python API 文档。
• Read the Docs - 开源项目文档托管平台。
• Jupyter Book - 用 Jupyter/Markdown 构建电子书和技术文档。

学习与经典项目 Learning Projects

适合学习源码、算法、工程结构和最佳实践的项目

• awesome-python - Python 资源大全，覆盖框架、库、工具和学习资料。
• The Algorithms - Python - Python 实现的算法集合。
• Real Python Materials - Real Python 教程配套代码。
• Full Stack Python - Python Web 开发全栈学习资源。
• python-patterns - Python 设计模式示例。
• 500 Lines or Less - 用较少代码实现经典软件组件的学习项目。
• project-based-learning - 基于项目的编程学习资源，包含 Python 项目。
• system-design-primer - 系统设计学习项目，虽然不只面向 Python，但对后端工程师很有价值。

推荐项目组合

1. Python Web 后端组合

适合开发管理系统、API服务、业务后台：

FastAPI / Django
SQLAlchemy / Django ORM
Alembic
Pydantic
Uvicorn + Gunicorn
Redis
Celery / RQ
pytest
Ruff + Black + mypy

2. 数据分析组合

适合 CSV、Excel、数据库统计分析和图表：

JupyterLab
NumPy
pandas / Polars
DuckDB
Matplotlib
Plotly
openpyxl
pytest

3. AI / RAG 应用组合

适合知识库问答、大模型接口、向量检索：

FastAPI
Pydantic
LangChain / LlamaIndex
Transformers
sentence-transformers
Chroma / FAISS / Milvus
Redis
Celery
MLflow

4. 自动化测试与脚本组合

适合接口测试、定时任务、运维脚本、数据采集：

Requests / HTTPX
Playwright
pytest
APScheduler
Loguru
Rich
Typer
Ruff

示例代码

示例1：FastAPI + Pydantic 写一个接口

from typing import Literal

from fastapi import FastAPI
from pydantic import BaseModel, Field

app = FastAPI(title="Python Awesome API", version="1.0.0")


class Project(BaseModel):
    name: str = Field(..., description="项目名称")
    category: Literal["web", "data", "ai", "test", "tool"]
    github: str
    description: str


PROJECTS = [
    Project(
        name="FastAPI",
        category="web",
        github="https://github.com/fastapi/fastapi",
        description="高性能 Python API 框架",
    ),
    Project(
        name="pandas",
        category="data",
        github="https://github.com/pandas-dev/pandas",
        description="数据分析与表格数据处理库",
    ),
]


@app.get("/projects", response_model=list[Project])
def list_projects(category: str | None = None):
    if category is None:
        return PROJECTS
    return [item for item in PROJECTS if item.category == category]

运行：

pip install fastapi uvicorn pydantic
uvicorn main:app --reload --host 0.0.0.0 --port 8000

访问：

http://127.0.0.1:8000/docs
http://127.0.0.1:8000/projects

示例2：Requests + BeautifulSoup 抓取页面标题

import requests
from bs4 import BeautifulSoup

url = "https://www.python.org/"
headers = {
    "User-Agent": "Mozilla/5.0 PythonResourceBot/1.0"
}

response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()

soup = BeautifulSoup(response.text, "html.parser")
print("网页标题：", soup.title.get_text(strip=True))

安装依赖：

pip install requests beautifulsoup4

示例3：Loguru + Rich 输出漂亮日志

from loguru import logger
from rich.console import Console
from rich.table import Table

console = Console()

projects = [
    ("Django", "Web框架", "https://github.com/django/django"),
    ("FastAPI", "API框架", "https://github.com/fastapi/fastapi"),
    ("PyTorch", "深度学习", "https://github.com/pytorch/pytorch"),
]

logger.info("开始输出 Python 知名项目列表")

table = Table(title="Python 知名项目")
table.add_column("项目")
table.add_column("分类")
table.add_column("地址")

for name, category, url in projects:
    table.add_row(name, category, url)

console.print(table)
logger.success("输出完成")

安装依赖：

pip install loguru rich

推荐阅读顺序

初学者建议按这个顺序了解：

1. Python 官方文档、CPython、PyPI、pip。
2. Requests、BeautifulSoup、pytest、Ruff。
3. Flask 或 FastAPI。
4. SQLAlchemy、Alembic、Redis、Celery。
5. pandas、NumPy、JupyterLab。
6. scikit-learn、PyTorch、Transformers。
7. Docker、Ansible、Supervisor、MLflow。

小结

Python 生态非常庞大，实际选型时不要只看 Star 数，还要结合项目场景：

• 做管理系统：优先 Django。
• 做 API 服务：优先 FastAPI。
• 做脚本和自动化：Requests、Typer、Rich、APScheduler 很实用。
• 做数据分析：pandas、Polars、DuckDB、JupyterLab 是常用组合。
• 做 AI 应用：PyTorch、Transformers、LangChain、LlamaIndex、vLLM 值得重点关注。
• 做工程质量：pytest、Ruff、Black、mypy、pre-commit 建议尽早引入。