DeepSeek 官网

 

DeepSeek 作为一款国运级别的AI大模型,其优势在于平衡了成本和性能,让中小公司,甚至个人能够落地本地私有化部署AI大模型。

本地部署的 DeepSeek 蒸馏版本,肯定不能和满血版的对比,本地部署的优势在于数据的安全性,和模型的可控。

在特定的场景下,本地部署的 DeepSeek 也足以胜任工作。

 

一、Ollama 介绍

 

Ollama 官网

Ollama 介绍只有一句话: Get up and running with large language models。

获得和运行大语言模型。

 

Ollama 屏蔽了运行大语言模型的复杂性,主要安装 Ollama 就能够简单快速的运行大语言模型。

Ollama 支持的大语言模型,包括但不仅限于:llamadeepseekqwen2.5

更多大语言模型,可在 Ollama 官网获取。

image-ocQaunBQxtQHiScXUyycubByciRWdmiy.png

二、Ollama 安装

 

Ollama 的安装很简单,

 

下载后,双击 OllamaSetup.exe ,安装即可。

 

二、Ollama 命令行简介

 

关于 Ollama 的操作命令可以直接在命令行中查看,也可以直接问在线版的 DeepSeek 。

 

譬如,你可以直接问 DeepSeek :我想使用 Ollama ,但是不知道 Ollama 命令行怎么使用,可以帮我介绍一下 Ollama 的命令吗?

 

以下是 DeepSeek 给出内容:

尝试使用 ollama help ,查看一下命令帮助。

通过命令行也能得到对应指令的详细介绍。

 

三、Ollama 安装 DeepSeek 蒸馏版本

Ollama 针对 DeepSeek R1 有多种不同的版本

分为:1.5b-671b。其中 671b 的就是满血版本的 DeepSeek 。

越高量级的模型,提供的推理能力越强,同样的占用的显存也就越大。

 

以下是一张,DeepSeek 和 OpenAI o1 的对比图,开源的 DeepSeek-R1 已经可以对标闭源的 OpenAI-o1 。 

 

以 DeepSeek 14b 为例,演示安装 ,直接运行命令即可

ollama run deepseek-r1:14b

当本地不存在 deepseek-r1:14b 模型时,ollama 进行模型下载,然后在运行 ,运行后的效果图如下,即表示运行成功

测试 DeepSeek ,直接提问:你是谁?

至此,本地版本 DeepSeek 部署完成。