苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # Docker
修复 OpenCV 依赖错误的小工具:OpenCV Fixer
2024年01月07日
OpenCV
,
Python
,
Docker
,
Linux
OpenCV Fixer 是一款用于自动修复 OpenCV 依赖兼容性问题的开源工具,可解决因旧版本 opencv 与 numpy 版本冲突导致的 `module 'cv2.dnn' has no attribute 'DictValue'
阅读全文
中文版大模型 Token 成本计算器
2023年12月28日
LLMs
,
Docker
,
Linux
开源轻量工具 ai-token-calculator,约 10MB,基于 OpenAI 官方 tokenizer 汉化封装,用于直观计算大模型 API 的 Token 数量与使用成本。支持直接运行可执行文件、Docker 及 Docker
阅读全文
CPU 混合推理,非常见大模型量化方案:“二三五六” 位量化
2023年12月12日
GGUF
,
Yi-Model
,
llama.cpp
,
Python
,
Docker
,
Linux
基于 llama.cpp 框架介绍非常见整数位量化方案,涵盖 2、3、5、6 位等非标准位数量化技术。详细说明 GGUF 格式转换流程,包括使用 convert.py 将 PyTorch/Safetensors 模型转为 F16 中间格式,
阅读全文
零一万物模型折腾笔记:官方 Yi-34B 模型基础使用
2023年12月10日
GGUF
,
Yi-Model
,
llama.cpp
,
Python
,
Docker
,
Linux
基于实践测试,对零一万物官方 Yi-34B 及 Yi-34B-200K 模型的本地部署与基础使用进行客观记录。涵盖 Docker 与裸机两种环境配置、模型文件获取方式、硬件资源需求分析,重点验证模型在默认参数下的文本生成表现,包括指令遵循能
阅读全文
本地运行“李开复”的零一万物 34B 大模型
2023年11月26日
GGUF
,
Yi-Model
,
llama.cpp
,
Python
,
Docker
,
Linux
零一万物34B大模型本地部署方案详解,针对该模型量化后约24GB显存占用易触发内存溢出的问题,提出基于llama.cpp的CPU与GPU混合推理方案。通过Docker构建NVIDIA PyTorch运行环境,利用gguf格式模型与GPU层卸
阅读全文
使用 Redis 构建轻量的向量数据库应用:图片搜索引擎(二)
2023年11月16日
图片搜索引擎
,
向量数据库
,
Redis
,
Docker
,
Clip
,
Python
,
Ubuntu
,
Linux
,
OpenAI
文章延续前篇,继续介绍基于 Redis 构建轻量级向量数据库的图片搜索引擎实现方案。重点阐述如何利用 OpenAI Clip 模型的文本-图像关联能力,通过两种文本交互方式扩展搜索功能:一是借助分类检测能力进行内容安全风控,通过关键词列表与
阅读全文
使用 Redis 构建轻量的向量数据库应用:图片搜索引擎(一)
2023年11月15日
图片搜索引擎
,
向量数据库
,
Redis
,
Docker
,
Clip
,
Python
,
Ubuntu
,
Linux
,
OpenAI
探讨基于 Redis 构建轻量级本地图片搜索引擎的技术实践,采用 Docker 容器化部署方案,结合 OpenAI CLIP 模型实现图片特征提取与向量化存储。针对万级图片数据集,使用稠密向量检索方式完成搜索,总耗时低于十分之一秒。
阅读全文
基于 Docker 的深度学习环境:Windows 篇
2023年07月29日
SDXL
,
Stable Diffusion
,
PyTorch
,
Python
,
Docker
,
Windows
介绍在 Windows 11 环境下配置 Docker 深度学习环境的完整流程,涵盖 Docker 安装、WSL2 部署与升级、默认版本切换至 WSL2 等关键步骤,并验证 Docker 容器对 NVIDIA GPU 的调用能力。
阅读全文
使用 Docker 快速上手 Stability AI 的 SDXL 1.0 正式版
2023年07月29日
SDXL
,
Stable Diffusion
,
PyTorch
,
Python
,
Docker
,
Linux
介绍基于 Docker 本地部署 Stability AI 开源图片生成模型 SDXL 1.0 的完整实践方案,涵盖运行环境准备、模型文件获取、容器镜像构建与运行等关键步骤。提供预构建镜像与手动构建两种途径,支持基础绘图、精炼优化及超分辨率
阅读全文
OpenAI Code Interpreter 的开源实现:GPT Code UI
2023年07月25日
Code Interpreter
,
GPT Code UI
,
Python
,
Docker
GPT Code UI 是 OpenAI Code Interpreter 的开源替代方案之一,目前处于早期开发阶段。该项目支持通过 Docker 容器快速部署,镜像大小约 200MB,内置常见 Python 依赖库。
阅读全文
««
«
1
2
3
4
5
6
7
8
9
10
»
»»