学习顺序说明：本文是AI学习路线的第8篇，建议按顺序学习：
- 01 入门基础 → 02 机器学习 → 03 深度学习 → 04 NLP基础 → 05 Transformer进阶 → 06 大模型应用 → 07 RAG系统 → 08 AI工具链（本文）
工欲善其事，必先利其器。本文将介绍AI开发中常用的工具和环境配置。
第一部分：开发环境
1.1 Python环境管理
Anaconda/Miniconda
# 创建虚拟环境
conda create -n ai-env python=3.10
# 激活环境
conda activate ai-env
# 安装包
conda install numpy pandas scikit-learn
pip install torch transformers
# 导出环境
conda env export > environment.yml
# 从文件创建环境
conda env create -f environment.yml
Poetry (推荐)
# 安装Poetry
pip install poetry
# 创建项目
poetry new ai-project
cd ai-project
# 添加依赖
poetry add numpy pandas torch transformers
# 安装依赖
poetry install
# 导出requirements
poetry export -f requirements.txt --output requirements.txt
1.2 Jupyter Notebook
# 安装
pip install jupyter
# 启动
jupyter notebook
# 安装扩展
pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
常用快捷键：
| 快捷键 | 功能 |
|---|---|
| Shift + Enter | 运行当前单元格 |
| A | 在上方插入单元格 |
| B | 在下方插入单元格 |
| DD | 删除单元格 |
| M | 转为Markdown |
| Y | 转为代码 |
1.3 Google Colab
免费GPU环境，适合学习和实验。
# 检查GPU
import torch
print(f"CUDA可用: {torch.cuda.is_available()}")
print(f"GPU设备: {torch.cuda.get_device_name(0)}")
# 挂载Google Drive
from google.colab import drive
drive.mount('/content/drive')
# 安装包
!pip install transformers datasets
Colab技巧：
- 运行时 → 更改运行时类型 → GPU
- 使用
!执行Shell命令 - 数据存放在Google Drive
第二部分：版本控制与协作
2.1 Git基础
# 初始化仓库
git init
# 克隆仓库
git clone https://github.com/user/repo.git
# 添加文件
git add .
git add file.py
# 提交
git commit -m "添加新功能"
# 推送
git push origin main
# 拉取
git pull origin main
# 分支操作
git branch feature-branch
git checkout feature-branch
git checkout -b new-branch # 创建并切换
# 合并
git merge feature-branch
2.2 .gitignore配置
# Python
__pycache__/
*.py[cod]
*.so
.Python
env/
venv/
.venv/
# Jupyter Notebook
.ipynb_checkpoints/
# 数据文件
*.csv
*.json
data/
# 模型文件
*.pth
*.bin
models/
# 环境配置
.env
*.env
2.3 大文件管理 (Git LFS)
# 安装Git LFS
git lfs install
# 跟踪大文件
git lfs track "*.pth"
git lfs track "*.bin"
# 提交
git add .gitattributes
git commit -m "配置Git LFS"
第三部分：容器化部署
3.1 Docker基础
# Dockerfile
FROM python:3.10-slim
WORKDIR /app
# 安装依赖
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
# 复制代码
COPY . .
# 运行
CMD ["python", "main.py"]
# 构建镜像
docker build -t ai-app .
# 运行容器
docker run -p 8000:8000 ai-app
# GPU支持
docker run --gpus all -p 8000:8000 ai-app
3.2 Docker Compose
# docker-compose.yml
version: '3.8'
services:
api:
build: .
ports:
- "8000:8000"
volumes:
- ./data:/app/data
environment:
- MODEL_PATH=/app/models
depends_on:
- db
db:
image: postgres:14
environment:
POSTGRES_DB: aidb
POSTGRES_USER: user
POSTGRES_PASSWORD: password
volumes:
- postgres_data:/var/lib/postgresql/data
volumes:
postgres_data:
第四部分：AI开发工具
4.1 实验管理 (MLflow)
import mlflow
# 开始实验
mlflow.start_run()
# 记录参数
mlflow.log_param("learning_rate", 0.001)
mlflow.log_param("epochs", 10)
# 记录指标
mlflow.log_metric("accuracy", 0.95)
mlflow.log_metric("loss", 0.05)
# 记录模型
mlflow.pytorch.log_model(model, "model")
# 结束实验
mlflow.end_run()
4.2 数据处理工具
# datasets - Hugging Face数据集
from datasets import load_dataset
dataset = load_dataset("imdb")
print(dataset)
# pandas-profiling - 数据分析报告
from pandas_profiling import ProfileReport
profile = ProfileReport(df)
profile.to_file("report.html")
# tqdm - 进度条
from tqdm import tqdm
for item in tqdm(data_list):
process(item)
4.3 可视化工具
# TensorBoard
from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter()
writer.add_scalar('Loss/train', loss, epoch)
writer.add_histogram('weights', model.fc.weight, epoch)
writer.close()
# 启动: tensorboard --logdir=runs
# Weights & Biases
import wandb
wandb.init(project="my-project")
wandb.config = {"learning_rate": 0.001, "epochs": 10}
wandb.log({"loss": loss, "accuracy": acc})
4.4 模型监控
# 记录模型推理
def log_inference(input_text, output, latency):
log_data = {
"timestamp": datetime.now().isoformat(),
"input": input_text,
"output": output,
"latency_ms": latency
}
# 存储到数据库或文件
第五部分：常用资源
5.1 学习平台
| 平台 | 特点 | 链接 |
|---|---|---|
| Kaggle | 竞赛+数据集+Notebook | kaggle.com |
| Hugging Face | 模型+数据集+Space | huggingface.co |
| Colab | 免费GPU | colab.research.google.com |
| Papers with Code | 论文+代码 | paperswithcode.com |
5.2 常用开源项目
| 项目 | 用途 |
|---|---|
| fastai | 深度学习简化API |
| timm | 图像模型库 |
| accelerate | 分布式训练 |
| peft | 高效微调 |
| langchain | LLM应用开发 |
5.3 中文资源
学习路线总结
恭喜你完成了AI学习路线的全部内容！
学习路线回顾
01 入门基础 → 02 机器学习 → 03 深度学习 → 04 NLP基础
→ 05 Transformer进阶 → 06 大模型应用 → 07 RAG系统 → 08 AI工具链
后续建议
- 实践为主: 选择1-2个项目深入实践
- 持续学习: 关注最新论文和技术动态
- 社区参与: 加入技术社区，参与讨论
- 项目积累: 建立个人项目作品集
最后更新: 2026年4月10日
本文整理了AI开发常用的工具和资源，祝学习顺利！