安装前准备
在安装 DeepSeek 模型前,请确保您的系统满足以下基本要求:
- 操作系统:Linux / Windows(推荐 Linux)
- Python 版本 ≥ 3.8
- 支持 CUDA 的 GPU(可选,用于加速推理)
- 足够的磁盘空间(模型文件通常数 GB)
安装步骤
-
创建虚拟环境(推荐)
python -m venv deepseek_env
source deepseek_env/bin/activate # Linux/macOS
deepseek_env\Scripts\activate # Windows -
安装依赖
pip install torch transformers accelerate sentencepiece -
下载模型(以 DeepSeek-LLM 为例)
可通过 Hugging Face 加载:from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "deepseek-ai/deepseek-llm-7b-base" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="auto") -
运行推理测试
输入一段提示,验证是否成功加载模型。
常见问题
- 模型加载慢? 首次下载会缓存到本地,后续加载更快。
- 显存不足? 可尝试使用
device_map="auto"或量化版本模型。 - 无法访问 Hugging Face? 可配置代理或使用镜像源。