局域網windows服務器部署deepseek+chatbox+局域網訪問設置詳解+本地知識庫搭建

1、從能上網的電腦上下載3個文件 ：

     ollama安裝文件：  OllamaSetup.exe
  chatbox安裝文件： Chatbox-1.11.5-Setup.exe


2、將這3個文件復制到d:\ollama   （我們是為了把所有程序都安裝到此目錄）
在D盤或其他盤內創建一個名為ollama的文件夾，將ollama安裝包移動至該文件夾內

在cmd命令窗口輸入“D:”將目錄切換到D盤

輸入該指令：

setx OLLAMA_MODELS d:\ollama\models/M

然后回車，提示“成功”就說明輸入成功了

接下來繼續

輸入cd ollama 回車

再輸入OllamaSetup.exe /dir=d:\ollama 回車

等待一會后，會自動彈出該界面，點擊“Install/安裝”進行安裝

檢測是否安裝成功：在cmd令窗口輸入：D: 回車

輸入：cd ollama 回車

再輸入ollama -v,如果像下面這樣

顯示“ollama version is 0.5.12”

就是安裝成功了

3、設置環境變量

在D盤創建一個用于安裝ollama模型的文件夾，文件夾名稱設置成“ollamamx”(文件夾名稱可以自定義)

創建一個“系統變量”，

變量名：OLLAMA_MODELS

變量值：在“瀏覽目錄”找到我們剛才在D盤創建的“ollamamx”文件夾

下面我們再創建一個跟“系統變量”一樣的“用戶變量”

然后把ollama退出重新打開：桌面右下角找到“ollama”

鼠標右鍵點擊選擇“Quit ollama/退出ollama”

退出后再打開ollama

4、 下載大模型文件

    如果部署的服務器無法直接連外網，可以先在能上網的一臺筆記本上按照上述說明部署一個環境，然后在   

cmd窗口輸入： ollama run deepseek-r1:14b    （可以從官網https://ollama.com/library/deepseek-r1找到下載不同大型模的命令）

  大模型文件開始下載

  等下載完成后，將ollamamx  文件夾復制到部署的服務器上，替換服務器上的ollamamx文件夾。

   

5、cmd窗口輸入：ollama list 回車 查看已安裝的模型

復制模型名稱然后在指令窗口輸入：ollama run 模型名稱 回車即可進入對話

如何退出對話？

A:指令窗口輸入：/bye

6、部署chatbox

     安裝chatbox，點擊左下角的設置 -模型提供方 選擇： OLLAMAAPI   模型選擇 deepseek-r1:14b---保存

7、設置局域網訪問：
     默認Ollama僅允許本地訪問，需創建Ollama變量，并設置系統環境變   
使用管理員身份打開 cmd窗口   執行如下命令：
    setx  OLLAMA_HOST  "0.0.0.0"
    setx OLLAMA_ORIGINS "*"


   然后設置兩個系統環境變量

系統變量OLLAMA_HOST  值設置為  0.0.0.0
系統變量OLLAMA  ORIGINS 值設置為  *      （備注  OLLAMA和 ORIGINS中間是空格，不是下劃線）  


電腦右下角右鍵退出 Ollama程序后，重新啟動Ollama程序。
進入 chatbox 設置， api域名由  http://127.0.0.1:11434修改為  http://ip:11434

局域網中其他電腦上：
    安裝chatbox軟件， 然后設置-模型提供方 選擇： OLLAMAAPI  API域名：http://ip:11434  模型選擇 deepseek-r1:14b---保存

部署本地知識庫
1、下載 AnythingLLM，https://anythingllm.com/desktop
2、在離線服務器上安裝時，安裝目錄 d:\AnythingLLm，安裝完之后會報錯，提示需要聯網下載一些依賴庫。
3、找一臺聯網的機器，安裝 anythingLLM，安裝速度比較慢，而且最后也報錯了，根據網上的建議，將dns修改為8.8.8.8，然后安裝python,重新安裝，安裝正常。然后將D:\deepseek\AnythingLLM\resources\ollama\lib 目錄復制覆蓋到離線服務器上。

4、打開anythingllm-配置：
      外觀-displaylanguage  選擇  chinese
     LLM首選項：  LLM提供商，選擇 Ollama
     向量數據庫: 不變，默認的免費，其他有速度更快的，但是收費
     Embedder首選項：嵌入引擎提供商： Ollama
     保存

5、創建新工作區，工作區右側點擊設置
     聊天設置：工作區LLM提供者 Ollama，聊天模式：查詢,聊天提示：改為： 你是一個知識庫專家，所有問題請用中文回答
6、向量數據庫：  搜索偏好： Accuracy  Optimized(準確性提升) ，最大上下文片段，改為10
7、代理配置：  Ollama
8、本地知識庫上傳。
   發現問題：   AnythingLLM 只能單人使用，局域網中其他用戶無法使用，除非其他人再安裝AnythingLLM，但是其他人安裝AnythinkLLM 又需要配置知識庫，上傳知識庫。
9、所以需要安裝 Docker  AnythingLLM的方式，可以供局域網用戶使用。



經過測試，AnythingLLM  搜索效果不理想， 后面準備安裝  ragflow
首先需要確保服務器操作系統版本滿足 docker desktop 最低要求（ win10  19044之上），如果不滿足，請先聯網更新系統，建議升級至19045
1、在 BIOS/UEFI 中啟用 Intel VT-x/AMD-V
  啟用必需的 Windows 功能

• 啟用“虛擬機平臺”與“適用于 Linux 的 Windows 子系統”
  

• 打開【控制面板】→【程序】→【啟用或關閉 Windows 功能】。
• 勾選Hyper-V 、虛擬機平臺、適用于 Linux 的 Windows 子系統，媒體功能、遠程差分壓縮API支持
  

2、啟用 WSL 功能powershellCopy#
以管理員身份運行 PowerShell dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
wsl  --install   (如果此步驟卡住，或無法運行，可以將   適用于 Linux 的 Windows 子系統功能刪除，然后再執行  wsl --install
  wsl   --update
wsl --set-default-version 2
Restart-Computer

• 開始菜單中出現  Ubuntu 虛擬機，第一次運行時會提示建立用戶：
  
  在 PowerShell 終端或 Ubuntu 窗口中，按照以下步驟輸入信息：
  1?? 輸入你的 UNIX 用戶名
  在 Enter new UNIX username: 后輸入你想要的 Linux 賬戶名，例如：administrator
  
  
  然后按 Enter。
  ? 注意：
  
  
  • 不能使用大寫字母。
  • 不能有空格。
  • 這個用戶名將是默認用戶，具有 sudo 權限（類似 Windows 的管理員權限）。
    
  2?? 創建一個密碼
  它會提示：
  
  Enter new UNIX password:
  輸入你的密碼（?? 輸入時不會顯示任何字符，這是 Linux 的安全特性），然后按 Enter。
  ? 密碼要求：
  • 必須記住這個密碼！ 因為以后使用 sudo（管理員權限）時需要輸入它。
  • 至少6個字符，盡量使用大小寫字母、數字、特殊字符的組合，以增強安全性。
    
  
  3?? 確認密碼Retype new UNIX password:
  
  再次輸入 相同的密碼，然后按 Enter。
  如果輸入正確，你會看到類似：
  passwd: password updated successfullyInstallation successful!
  
  說明你的 WSL Ubuntu 用戶已創建，并且安裝完成 ！
  
  四. 接下來可以做什么？
  1?? 測試 Ubuntu 是否成功安裝 在 Ubuntu 終端中輸入：
  whoami
  如果返回的是你的用戶名（例如 tracy），說明賬戶創建成功。
  2?? 檢查 WSL 版本 在 PowerShell 運行：
  wsl --list --verbose
  
  如果返回：
  NAME            STATE           VERSIONUbuntu-22.04    Running         2
  
  說明 WSL 2 已成功啟用。
  3?? 更新 Ubuntu 首次使用建議更新系統軟件，在 Ubuntu 終端中輸入：<br/>sudo apt update && sudo apt upgrade -y<br/>
  然后輸入剛才創建的 密碼 進行更新。
  
  你現在可以開始使用 Ubuntu 22.04 了！
  你可以：
  • 在 PowerShell 或 CMD 運行 wsl 進入 Linux 終端：powershell
    wsl
  • 使用 exit 退出 WSLsh
    exit
  • 直接在 Windows 終端中打開 Ubuntu 按 Win + S 搜索 Ubuntu 22.04，打開即可。
    
• 點擊確定后，重啟計算機。
  

安裝 ragflow
1、下載 ragflow    https://github.com/infiniflow/ragflow    兩種方法，一種直接下載，另一種使用  git clone https://github.com/infiniflow/ragflow.git
2、安裝docker
到docker官網下載4.29.0版本安裝包（4.30.0及以上不支持更改鏡像）。


安裝docker之后，點擊桌面上的 docker圖標進入，然后修改鏡像源：

docker默認不允許修改，進入設置-General,  選中/或不選中  Expose daemon on tcp:/localhost:2375 without TLS 之后，就允許修改了

點擊  Docker Engine,將文本框中的內容替換為:
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "http://mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com",
    "https://docker.hpcloud.cloud",
    "https://docker.m.daocloud.io",
    "https://docker.unsee.tech",
    "https://docker.1panel.live",
    "https://docker.chenby.cn",
    "http://mirror.azure.cn",
    "https://dockerpull.org",
    "https://dockerhub.icu",
    "https://hub.rat.dev"
  ]
}

點擊  apply&restart

3、找到剛才下載好的  ragflow 文件夾，  進入 d:\deepseek\ragflow\docker
    編輯 .env文件， 將RAGFLOW_IMAGE=infiniflow/ragflow:v0.18.0-slim  注釋掉，將RAGFLOW_IMAGE=infiniflow/ragflow:v0.18.0  取消注釋
   
4、cmd
d:\deepseek\ragflow>     docker compose -f docker/docker-compose.yml up -d


    第一次運行，速度很慢，運行完成后，

打開網頁，輸入 localhost:80   
這里注意， 有的瀏覽器localhost:80  只有標題顯示ragflow,頁面是空白，這是瀏覽器不支持，更換微軟瀏覽器或者firefox 確認可以登錄。

注冊賬號登錄
修改語言為中文
點擊最右側的設置按鈕-模型提供商  添加模型  Ollama  ,   [chat     deepseek-r1:14b   http://ip:11434 ]

設置默認模型：   deepseek-r1:14b   嵌入模型  默認，  保存
創建知識庫  ，上傳文檔
聊天-創建助理
聊天測試。