机遇屋-各种deepseek版本进行本地化部署

各种deepseek版本进行本地化部署

作者：ych

### 推测可以使用的模型
[工具地址](http://mark.flashai.com.cn "工具地址")

### 1.下载 Ollama
本地部署是要用到 Ollama，它能支持很多大模型。

官方网站：https://ollama.com/

#### 安装后查看版本
```
ollama -v
```

#### 修改端口
默认端口地址：http://127.0.0.1:11434
>1.右击点击任务栏图标，选择「Quit Ollama」退出后台运行。
2.使用Windows + R快捷键打开「运行」对话框，输入命令：sysdm.cpl
系统属性->环境变量->用户变量，新增变量记录：
3.要更改侦听地址和端口，可以添加以下环境变量：

参数|标识与配置
-|-
OLLAMA_MODELS|表示模型文件的存放目录，默认目录为当前用户目录即  C:\Users%username%.ollama\models Windows 系统 建议不要放在C盘，可放在其他盘（如 E:\ollama\models）
OLLAMA_HOST|表示ollama 服务监听的网络地址，默认为127.0.0.1，如果想要允许其他电脑访问 Ollama（如局域网中的其他电脑），建议设置成 0.0.0.0
OLLAMA_PORT|表示ollama 服务监听的默认端口，默认为11434 ，如果端口有冲突，可以修改设置成其他端口（如8080等）
OLLAMA_ORIGINS|表示HTTP 客户端的请求来源，使用半角逗号分隔列表，如果本地使用不受限制，可以设置成星号 *
OLLAMA_KEEP_ALIVE|表示大模型加载到内存中后的存活时间，默认为5m即 5 分钟（如纯数字300 代表 300 秒，0 代表处理请求响应后立即卸载模型，任何负数则表示一直存活）建议设置成 24h ，即模型在内存中保持 24 小时，提高访问速度
OLLAMA_NUM_PARALLEL|表示请求处理的并发数量，默认为1 （即单并发串行处理请求），建议按照实际需求进行调整
OLLAMA_MAX_QUEUE|表示请求队列长度，默认值为512，建议按照实际需求进行调整，超过队列长度的请求会被抛弃
OLLAMA_DEBUG|表示输出 Debug 日志，应用研发阶段可以设置成1 （即输出详细日志信息，便于排查问题）
OLLAMA_MAX_LOADED_MODELS|表示最多同时加载到内存中模型的数量，默认为1 （即只能有 1 个模型在内存中）
[参考](https://github.com/datawhalechina/handy-ollama/blob/main/docs/C2/2.%20Ollama%20%E5%9C%A8%20Windows%20%E4%B8%8B%E7%9A%84%E5%AE%89%E8%A3%85%E4%B8%8E%E9%85%8D%E7%BD%AE.md "参考")

### 2.下载模型
[模型地址](https://ollama.com/library/deepseek-r1 "模型地址")

#### 安装
```
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
```
#### 卸载
```
ollama rm deepseek-r1:1.5b
ollama rm deepseek-r1:8b
ollama rm deepseek-r1:14b
ollama rm deepseek-r1:32b
```
#### 无审查版本
[DeepSeek-R1-abliterated](https://ollama.com/huihui_ai/deepseek-r1-abliterated "DeepSeek-R1-abliterated")
```
ollama run huihui_ai/deepseek-r1-abliterated:7b
ollama run huihui_ai/deepseek-r1-abliterated:8b
ollama run huihui_ai/deepseek-r1-abliterated:14b
ollama run huihui_ai/deepseek-r1-abliterated:32b
ollama run huihui_ai/deepseek-r1-abliterated:70b
```
[更多](https://huggingface.co/huihui-ai "更多")

#### 千问模型
[高推理能力32b](https://ollama.com/library/qwq:32b "高推理能力32b")
```
ollama run qwq:32b
```

[无拒绝版本](https://ollama.com/huihui_ai/qwq-abliterated:32b "无拒绝版本")
```
ollama run huihui_ai/qwq-abliterated:32b
```

#### 指定模型并发送请求
```
curl -X POST \
  http://127.0.0.1:11434/api/chat \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "deepseek-r1:8b",
	options:{},
    "messages": [
      {
        "role": "user",
        "content": "你好，请介绍一下你自己。",
		"images":[]
      }
    ]
  }'
```
#### 常用命令
```
# 查看 Ollama 版本
ollama -v

# 查看已安装的模型
ollama list

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:\Users\<username>\.ollama\models
```

### 使用edge插件
Page Assist进行可视化。

### 使用open-webui（失败）
#### 安装
```
pip install open-webui
```

#### 修改端口
修改配置文件
LibreChat (Open WebUI) 使用 .env 文件进行配置。 找到 .env 文件是关键。 它通常位于 LibreChat 的根目录下（即你找到 open_webui 包的父目录）。
如果找到了 .env 文件:
使用文本编辑器打开 .env 文件。
查找名为 PORT 的变量。 如果没有，手动添加一行：
```
PORT=8080  # 将 8080 替换为你想要的端口号
```
保存 .env 文件。

如果没有找到 .env 文件:
在 LibreChat 的根目录下创建一个名为 .env 的文件。
添加以下内容：
```
PORT=8080  # 将 8080 替换为你想要的端口号
```
保存 .env 文件。

找到安装目录: 假设`pip show open-webui`显示安装路径为 `C:\Users\ych\AppData\Local\Programs\Python\Python311\Lib\site-packages`，那么 Open WebUI 的根目录是 `C:\Users\ych\AppData\Local\Programs\Python\Python311\Lib\site-packages/open_webui`的父目录。

修改 .env: 在`C:\Users\ych\AppData\Local\Programs\Python\Python311\Lib\site-packages`下创建或编辑 .env 文件，内容为`PORT=8866`。

运行
```
open-webui serve
```
在浏览器中访问 http://localhost:8866

### 投喂数据
需要下载[AnythingLLM](https://anythingllm.com/desktop "AnythingLLM")
[使用教程参考](https://blog.csdn.net/2301_76168381/article/details/145453732 "使用教程参考")

评论区

先去登录