Tag: # Docker

基于实践测试，对零一万物官方 Yi-34B 及 Yi-34B-200K 模型的本地部署与基础使用进行客观记录。涵盖 Docker 与裸机两种环境配置、模型文件获取方式、硬件资源需求分析，重点验证模型在默认参数下的文本生成表现，包括指令遵循能 阅读全文

零一万物34B大模型本地部署方案详解，针对该模型量化后约24GB显存占用易触发内存溢出的问题，提出基于llama.cpp的CPU与GPU混合推理方案。通过Docker构建NVIDIA PyTorch运行环境，利用gguf格式模型与GPU层卸 阅读全文

文章延续前篇，继续介绍基于 Redis 构建轻量级向量数据库的图片搜索引擎实现方案。重点阐述如何利用 OpenAI Clip 模型的文本-图像关联能力，通过两种文本交互方式扩展搜索功能：一是借助分类检测能力进行内容安全风控，通过关键词列表与 阅读全文

探讨基于 Redis 构建轻量级本地图片搜索引擎的技术实践，采用 Docker 容器化部署方案，结合 OpenAI CLIP 模型实现图片特征提取与向量化存储。针对万级图片数据集，使用稠密向量检索方式完成搜索，总耗时低于十分之一秒。 阅读全文

介绍在 Windows 11 环境下配置 Docker 深度学习环境的完整流程，涵盖 Docker 安装、WSL2 部署与升级、默认版本切换至 WSL2 等关键步骤，并验证 Docker 容器对 NVIDIA GPU 的调用能力。 阅读全文

介绍基于 Docker 本地部署 Stability AI 开源图片生成模型 SDXL 1.0 的完整实践方案，涵盖运行环境准备、模型文件获取、容器镜像构建与运行等关键步骤。提供预构建镜像与手动构建两种途径，支持基础绘图、精炼优化及超分辨率 阅读全文

GPT Code UI 是 OpenAI Code Interpreter 的开源替代方案之一，目前处于早期开发阶段。该项目支持通过 Docker 容器快速部署，镜像大小约 200MB，内置常见 Python 依赖库。 阅读全文

基于GGML机器学习张量库，介绍将Meta LLaMA2中文大模型转换为可在CPU运行的量化格式的完整流程。内容涵盖使用Docker工具镜像完成模型格式转换、GGML量化压缩（将26GB模型精简至3. 阅读全文

介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案，使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B 阅读全文