本地部署大模型

以下以 Ollama 为例说明在常见操作系统上的安装与拉取模型方式。命令与安装包版本以 Ollama 官方下载页官方仓库文档 为准;若官网有更新,请以官网为准。

本文仅作导航与摘要,不替代官方文档。其他本地推理框架(如 vLLM、llama.cpp 发行版等)请遵循各自官方安装说明。

macOS

Ollama 官网 macOS 下载页 为准;当前说明要求 macOS 14 Sonoma 或更高版本

  1. 在终端执行官方提供的一键安装命令:
curl -fsSL https://ollama.com/install.sh | sh
  1. 或从同一页面下载 Ollama.dmg直接链接,若失效请回官网下载页),打开后按向导安装。
  2. 若使用 Homebrew,请以官网或 Homebrew 当前公式说明为准(例如 brew install ollama,以二者之一实际展示为准)。
  3. 安装完成后执行 ollama --version 确认可用;用 ollama pull 加模型名从 模型库 拉取模型。
  4. 运行对话:ollama run 加模型名;本机 HTTP API 行为与端口以 官方文档 / FAQ 为准。

Windows

Ollama 官网 Windows 下载页 为准;当前说明要求 Windows 10 或更高版本

  1. 在 PowerShell 中执行官方提供的一键安装命令:
irm https://ollama.com/install.ps1 | iex
  1. 或从官网下载安装程序(例如 OllamaSetup.exe,若失效请回官网下载页)。
  2. 安装完成后执行 ollama --version 验证;使用 ollama pullollama run 管理模型。

Linux

  1. 官方推荐的一键安装(以 Linux 下载页 为准):
curl -fsSL https://ollama.com/install.sh | sh
  1. 可查看 安装脚本源码;手动安装与 systemd 等说明见 Ollama Linux 文档
  2. 安装后使用 ollama pullollama run 与 macOS / Windows 一致;GPU 与进阶配置以官方文档为准。

接入 BigHub

本机 Ollama 等 OpenAI 兼容服务就绪后,请前往左侧 算力接入 下载并配置 BigHub 算力代理客户端,将本机推理地址安全注册到平台,再在控制台或体验中心使用。详见 使用算力