Ollama 基础知识

[TOC]

1、简介

"Get up and running with large language models locally."

Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.

Ollama 仓库创建于 2023年6月26日，截至2024年8月，Ollama 经过了一年多的发展。相信在不久的未来，将会在越来越多的边缘端产品中看到大模型的身影。

什么是 Ollama ？正如 Ollama 官方仓库所说：本地启动并运行大型语言模型。

Ollama 是一个开源的大型语言模型服务工具，旨在帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以通过一条命令轻松启动和运行开源的大型语言模型。 它提供了一个简洁易用的命令行界面和服务器，专为构建大型语言模型应用而设计。用户可以轻松下载、运行和管理各种开源 LLM。与传统 LLM 需要复杂配置和强大硬件不同，Ollama 能够让用户在消费级的 PC 上体验 LLM 的强大功能。

Ollama 会自动监测本地计算资源，如有 GPU 的条件，会优先使用 GPU 的资源，同时模型的推理速度也更快。如果没有 GPU 条件，直接使用 CPU 资源。

Ollama 极大地简化了在 Docker 容器中部署和管理大型语言模型的过程，使用户能够迅速在本地启动和运行这些模型。

2、主要功能和特点

1. 本地化运行：
   • Ollama 支持在本地计算机上运行各种大语言模型，这意味着所有数据和计算都保留在本地，不会上传至云端，确保隐私和安全性。
2. 多模型支持：
   • 平台上可以运行多种 LLM，包括但不限于 Llama 2、Mistral、CodeLlama 等，覆盖通用对话、编程助手、文本生成等多个场景。
3. 统一接口和管理：
   • 通过统一的 API 接口和 CLI 工具，用户可以方便地下载、启动、管理和更新模型，无需复杂配置。
4. 跨平台兼容：
   • 支持 macOS 和 Windows 操作系统，并计划进一步扩展到更多平台。
5. 开源和自定义：
   • Ollama 提供了高度可定制的环境，用户可以根据需求修改模型或配置，适应不同的应用场景。

3、技术架构和实现

1. 轻量化和高性能：
   • Ollama 针对本地硬件资源（如 CPU 和 GPU）进行了优化，能够在较低的系统要求下运行复杂的 LLM。
2. 容器化管理：
   • 使用容器技术隔离不同模型及其依赖，保证稳定性和安全性。
3. 模块化设计：
   • 采用模块化架构，各个功能模块（如下载、加载、推理、管理）相互独立，但通过统一接口进行交互。

4、使用场景和优势

1. 隐私和安全：
   • 由于所有数据和模型推理都在本地进行，特别适用于对数据隐私要求高的行业，如医疗、金融和法律等领域。
2. 离线工作：
   • 不依赖互联网连接，可以在网络受限或安全要求较高的环境中使用。
3. 定制化和控制：
   • 开发者可以根据业务需求对模型进行微调或定制开发，避免公共 API 的限制。

5、与其他 LLM 平台的比较

功能	Ollama	OpenAI API	Hugging Face Transformers
运行方式	本地运行	云端运行	本地或云端运行
隐私性	数据全本地处理	数据上传云端	可本地处理，但部分功能需联网
模型支持	Llama 2、Mistral、CodeLlama等	GPT-4、GPT-3.5等	支持多种开源和商用模型
定制化	高，支持本地微调和修改	低，仅能通过 API 调用	高，可修改模型和训练流程
平台兼容性	macOS、Windows	无平台限制，仅需网络	多平台（Linux、Windows、macOS）