基础架构部文档
基础架构部文件格式标准参考
技术文档
mr_doc 接入ucenter 认证登录
loki日志收集
https证书与ssl/tls 加密
FTP 主动模式和被动模式的区别
Hadoop-windows10安装部署Hadoop2.7.3
JKS和PFX证书文件格式相互转换方法
KVM 基础操作
k8s nginx ingress日志收集到ELK并分析
Django基础
clash http代理 socks代理服务器搭建 配置
Ubuntu 22.04 安装 FFmpeg v7.0
ORM
AI MCP 介绍
Django 模板
ZooKeeper命令行(zkCli)的常用操作
Office正版化项目的个人体验和心得
重置jenkins构建历史
K8S实施方案
k8s的yaml文件语法
Docker的优势与虚拟机的区别
问题处理文档
HR推送数据问题处理报
Nginx从入门到放弃01-nginx基础安装
Nginx从入门到放弃02-Nginx基本命令和新建WEB站点
Nginx从入门到放弃03-Nginx调优
Nginx从入门到放弃04-Nginx的N种特别实用示例
JMeter教程
01-mariadb编译安装
02-mariadb二进制安装
Docker修改默认的存储路径
01-influxdb2时序数据库简介及安装
02-influxdb2时序数据库核心概念
03-influxdb2时序数据库flux查询语言
04-influxdb2--Python客户端influxdb-client
05-Spring boot 集成influxdb2
06-influxdb2其他知识
OA添加waf后相关问题的解决过程
排除java应用cpu使用率过高
exsi迁移文档
视频测试
阿里云产品试题
超融合服务器和传统服务器的区别
Serv-U问题集锦
文件夹共享操作手册
磁盘脱机处理方案
Office内存或磁盘空间不足处理方法
Cmd中ping不是内部或外部命令的解决方法
ELK 搭建文档
限制用户的远程桌面会话数量
Docker快速安装rocketmq、redis、zookeeper
超融合建设方案
git 入门
HR系统写入ES数据报错403
ELK搭建文档
KVM 安装和基础使用文档
helm 安装 rancher
访问共享提示禁用当前用户解决方法
K8S StorageClass搭建
KVM 扩展磁盘
借助sasl构建基于AD用户验证的SVN服务器
fastdfs编译安装并迁移数据
关闭系统保护的必要性
SCF 前置机部署
阿里云OSS学习文档
阿里云学习文档-VPC
(k8s踩坑)namespace无法删除
rancher-helm安装
zookeeper集群安装
批量替换K8s secrets 中某个特定域名的tls证书
kibana 批量创建索引模式
centos7 恢复Yum使用
ACP云计算部分知识点总结
Loki 日志系统搭建文档
自动更新k8s集群中所有名称空间中特定证书
AI分享
(AI)函数调用与MCP调用的区别
安装戴尔DELL Optilex 7040 USB驱动时提示无法定位程序输入点 kernel32\.dll
新华三服务器EXSI 显卡直通
conda
双流本地k8s搭建
通义灵码介绍
ELK高亮显示字段过大的问题
LInux常用工具
Ollama部署本地deepseek
人工智能如何重塑ACG宇宙
网络基础协议
远程桌面忽略本地机的文本缩放设置
ComfyUI :构建可视化 Stable Diffusion 工作流
Clawdbot介绍
Dify:开启AI应用开发的“乐高时代”
Kubernetes 证书过期处理
Openclaw安装
Openclaw介绍
本文档使用「觅思文档专业版」发布
-
+
首页
Ollama部署本地deepseek
# Ollama部署本地deepseek Ollama提供了一个清晰的路径,能在机器上快速运行AI模型。 ## 安装Ollama Linux/macOS:在终端执行一键安装命令: ```shell curl -fsSL https://ollama.com/install.sh \| sh ``` Windows:直接访问Ollama官网下载并安装.exe安装包。 安装后,在终端输入 ollama --version 即可验证是否成功。 ## 拉取并运行模型 安装好后,拉取模型就像下载软件一样简单。例如,部署一个代码助手模型,可以运行: ```bash ollama pull deepseek-coder:6.7b ``` 拉取完成后,直接与模型对话: ```bash ollama run deepseek-coder ``` 之后就可以输入你的问题或指令了,比如“用Python实现快速排序”。 ## 通过API调用模型 让AI模型真正融入你的工作流,API调用是关键一步。Ollama在本地提供了统一的API接口(默认通常在 [http://localhost:11434](http://localhost:11434))。 以下是一个简单的Python示例,演示如何调用本地模型: ```python import requests def query_ollama(prompt, model="deepseek-coder"): resp = requests.post( "http://localhost:11434/api/generate", json={"model": model, "prompt": prompt, "stream": False} ) return resp.json()["response"] # 示例:让模型解释"量子纠缠" print(query_ollama("解释量子纠缠")) ``` ## 性能优化与模型选择 在本地有限的资源下,通过一些技巧让AI跑得更快、更稳至关重要。 **模型量化**:这是最有效的优化手段。它通过降低模型权重的精度来大幅减少内存占用和提升速度,效果立竿见影。例如,一个完整的模型可能有好几个版本(如7B-Q4_0, 13B-Q4_0),标签后的数字越小,通常模型体积越小、速度越快,但精度会有所牺牲。你可以根据自身硬件和任务需求,拉取不同的量化版本。 **硬件利用**:如果你的电脑配有性能不错的NVIDIA显卡,确保已安装正确的GPU驱动,Ollama等工具通常能自动利用GPU来加速推理。 **模型选择**:不同的模型尺寸适用于不同的场景。你可以参考下表,根据你的任务和硬件配置做出选择。 模型规格 内存占用 适用场景 7B量化版 (如Q4_0) 约4-8GB 普通办公、文案创作、轻度代码辅助 13B量化版 (如Q4_0) 约14GB 技术支持、内容创作、深度代码分析与生成 33B及以上 32GB+ 专业研究、复杂逻辑推理,需高性能工作站 ## 拓展应用与安全维护 当基础模型运行起来后,你可以通过一些工具和方法,构建更强大、更安全的私有AI应用。 图形化界面:觉得命令行不够直观?可以安装ChatBox等图形客户端,或者使用Dify这样的平台,它可以通过Docker快速部署,为你提供一个可视化的AI应用开发和编排界面。 企业级考量:在商业或团队环境中,安全与稳定性是首要考虑的因素。 访问控制:可以创建专用的系统用户组来限制访问权限。 数据加密:为存储模型和数据的磁盘启用BitLocker(Windows)或同类加密技术。 网络隔离:在防火墙中设置规则,阻止AI应用不必要的出站连接,确保数据100%留在本地。 定期备份:定期备份你的模型文件和配置文件,可以使用简单的脚本实现自动化。
杨超
2025年10月31日 09:39
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期