欢迎来到蓝队云小课堂。

随着人工智能技术的飞速发展，大语言模型在自然语言处理、数据分析和智能应用开发等领域展现出了巨大的潜力。本文将详细介绍如何在本地内网环境中，借助Docker技术高效部署Ollama以及基于DeepSeek-R1蒸馏的六款子模型，助力开发者更好地利用这些强大的工具，提升开发效率和项目质量。

一、DeepSeek-R1模型概述

DeepSeek-R1是一款具有6710亿参数的超大型语言模型，其模型大小约为720GB。为了满足不同应用场景的需求，DeepSeek-R1还提供了六款蒸馏后的子模型，这些子模型在参数规模和模型大小上各有差异，具体如下：

DeepSeek-R1-Distill-Qwen-1.5B：参数规模为15亿，模型大小约4GB。

DeepSeek-R1-Distill-Qwen-7B：参数规模为70亿，模型大小约15GB。

DeepSeek-R1-Distill-Llama-8B：参数规模为80亿，模型大小约16GB。

DeepSeek-R1-Distill-Qwen-14B：参数规模为140亿，模型大小约30GB。DeepSeek-R1-Distill-Qwen-32B：参数规模为320亿，模型大小约75GB。

DeepSeek-R1-Distill-Llama-70B：参数规模为700亿，模型大小约140GB。

这些子模型不仅在性能上各有特点，还为个人和企业用户提供了多样化的选择，使得开发者可以根据自身需求灵活部署。

二、本地内网部署Ollama

（一）服务器配置要求

为了确保Ollama能够顺利运行并支持DeepSeek-R1大模型的部署，本地服务器需要满足以下配置要求：

操作系统：推荐使用Ubuntu 22.04，可从Ubuntu官方镜像下载地址获取。

内存：至少64GB，以确保模型运行时有足够的内存支持。

Python版本：推荐使用3.10.12或3.12.3，这两个版本均已通过测试。CUDA版本：12.4，用于支持GPU加速。

GPU驱动：NVIDIA-Linux-x86_64-550.142，确保GPU驱动与CUDA版本兼容。

GPU：推荐使用NVIDIA GeForce RTX 3090 24GB × 2，以满足模型对计算资源的需求。

（二）Ollama镜像的下载与加载

在一台能够联网的服务器上，通过以下命令下载Ollama镜像，并将其导出为.tar文件：

docker pull ollama

docker images

docker save -o ollama-latest.tar ollama/ollama:latest

将下载好的镜像文件传输到本地内网环境中后，使用以下命令加载Ollama镜像：

docker load < ollama-latest.tar

（三）启动Ollama容器

启动Ollama容器时，需要指定相关参数以确保其能够充分利用本地资源并正常运行。以下是推荐的命令：

docker run -d --privileged --gpus all --restart always -e OLLAMA_SCHED_SPREAD=1 -v /data/ollama:/root/.ollama -p 8003:11434 --shm-size 12G --name ollama ollama/ollama

其中，-v /data/ollama:/root/.ollama表示将容器内的/root/.ollama目录挂载到宿主机的/data/ollama目录，用户需根据实际情况填写正确的目录路径。

（四）进入Ollama容器

通过以下命令进入Ollama容器：

docker exec -it ollama bash

进入容器后，用户可以执行相关命令进行模型管理和服务管理。

（五）Ollama常用命令

Ollama提供了丰富的命令，方便用户进行模型管理和服务管理等操作。以下是一些常用命令：

模型管理类

ollama run <model>：下载并运行指定模型，例如ollama run llama2会自动下载并启动LLaMA 2模型。

ollama pull <model>：仅下载模型而不运行，例如ollama pull mistral。

ollama list：查看本地已有的模型列表。

ollama rm <model>：删除指定模型，例如ollama rm llama2。

ollama cp <source_model> <destination_model>：复制模型，例如ollama cp llama3 my-model。

ollama push <model>：将模型推送到注册仓库。

ollama create <model_name> -f <Modelfile>：从Modelfile创建模型，例如ollama create my-model -f Modelfile。

服务管理类

ollama serve：启动Ollama服务。

ollama ps：列出正在运行的模型。

其他

ollama show <model>：显示指定模型的信息。

ollama help：获取关于任何命令的帮助。

这些命令能够帮助用户更加便捷地管理和使用Ollama模型，充分发挥其在本地内网环境中的优势。

三、本地内网部署DeepSeek-R1大模型

（一）获取DeepSeek-R1模型地址

在部署DeepSeek-R1大模型之前，需前往Ollama官网查看其模型地址，具体地址为：https://www.landui.com/library/deepseek-r1:14b。

（二）安装并启动DeepSeek-R1:14B模型

通过以下命令安装并启动DeepSeek-R1:14B模型：

ollama run deepseek-r1:14b

该命令的执行时间取决于网络状况，可能需要等待一段时间。下载完成后，DeepSeek-R1大模型将成功启动。

（三）查看已启动模型

为了确认模型是否已成功启动，可以执行以下命令查看已启动的模型：

ollama list

当看到DeepSeek-R1模型出现在列表中时，便意味着Ollama已成功启动该模型，本地内网部署工作至此圆满完成。

通过上述详细的步骤，开发者可以在本地内网环境中顺利部署Ollama及DeepSeek-R1大模型，进而充分利用这些强大工具为自身项目赋能。无论是企业级应用开发、大模型应用开发还是AI应用开发，这些技术都将为开发者带来更高的效率和更强大的功能支持。希望本文的介绍能够帮助更多开发者快速上手，开启高效开发之旅。

蓝队云官网上拥有完善的技术支持库可供参考，大家可自行查阅，更多技术问题，可以直接咨询。同时，蓝队云整理了运维必备的工具包免费分享给大家使用，需要的朋友可以直接咨询。

更多技术知识，蓝队云期待与你一起探索。