苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # Docker
本地运行面壁智能的“贺岁模型”:MiniCPM 2B
2024年02月02日
Transformers
,
CPM-Model
,
Python
,
Docker
,
Linux
面壁智能发布的 MiniCPM 2B 是一款可在端侧运行的小参数量语言模型,提供 SFT 与 DPO 两个版本。该模型基于 Docker 容器环境部署,采用 Nvidia 官方 PyTorch 镜像配合 Transformers、Gradi
阅读全文
Stable Diffusion XL Turbo 文生图和图生图实践
2024年01月13日
Stable Diffusion XL Turbo
,
Stable Diffusion
,
PyTorch
,
Python
,
Docker
,
Linux
介绍基于 Docker 快速部署 Stable Diffusion XL Turbo 模型的完整实践流程,涵盖环境配置、模型下载与验证、文生图及图生图推理程序编写等核心环节。该模型通过对抗扩散蒸馏技术实现实时图像生成,相较 LCM 性能提升
阅读全文
在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers
2024年01月12日
xFormers
,
Flash Attention
,
Nvidia
,
Python
,
Docker
,
Linux
介绍在NVIDIA PyTorch容器环境中编译构建xFormers的方法,解决新版本CUDA兼容性滞后及安装时强制修改PyTorch与NumPy版本的问题。基于nvcr.io/nvidia/pytorch:23.
阅读全文
哔哩哔哩浏览器 AI 助手:bilibili subtitle
2024年01月10日
Amazing OpenAI API
,
Docker
介绍开源浏览器插件 bilibili-subtitle,可为 B 站视频生成带时间轴的字幕、智能分章节、内容摘要与核心观点提取,支持点击跳转至指定片段。插件依赖 OpenAI API,可通过 Amazing OpenAI API 工具对接
阅读全文
Amazing OpenAI API:把非 OpenAI 模型都按 OpenAI API 调用
2024年01月09日
Amazing OpenAI API
,
OpenAI
,
Yi-Model
,
Gemini-Pro
,
Docker
,
Linux
Amazing OpenAI API(AOA)是一款约10MB的开源工具,可将Azure OpenAI、Yi 34B-Chat、Gemini Pro等非OpenAI模型API转换为标准OpenAI API格式,使依赖OpenAI API的软
阅读全文
节省时间:AI 模型靠谱下载方案汇总
2024年01月09日
HuggingFace
,
ModelScope
,
Colab
,
Python
,
Docker
,
Linux
针对AI模型下载效率问题,梳理了HuggingFace官方CLI工具huggingface-hub与新推出的Rust版HF Transfer的详细配置方法,涵盖本地路径指定、断点续传、镜像加速等实操技巧;同时介绍了国内魔搭ModelScop
阅读全文
使用 Docker 和 Diffusers 快速上手 Stable Video Diffusion 图生视频大模型
2024年01月08日
Stable Video Diffusion
,
Stable Diffusion
,
PyTorch
,
Python
,
Docker
,
Linux
介绍基于 Docker 与 Diffusers 工具包部署 Stable Video Diffusion 图生视频模型的完整流程。涵盖环境构建、Nvidia 镜像 OpenCV 依赖修正、模型下载与校验、推理程序编写及 Gradio 界面启
阅读全文
修复 OpenCV 依赖错误的小工具:OpenCV Fixer
2024年01月07日
OpenCV
,
Python
,
Docker
,
Linux
OpenCV Fixer 是一款用于自动修复 OpenCV 依赖兼容性问题的开源工具,可解决因旧版本 opencv 与 numpy 版本冲突导致的 `module 'cv2.dnn' has no attribute 'DictValue'
阅读全文
中文版大模型 Token 成本计算器
2023年12月28日
LLMs
,
Docker
,
Linux
开源轻量工具 ai-token-calculator,约 10MB,基于 OpenAI 官方 tokenizer 汉化封装,用于直观计算大模型 API 的 Token 数量与使用成本。支持直接运行可执行文件、Docker 及 Docker
阅读全文
CPU 混合推理,非常见大模型量化方案:“二三五六” 位量化
2023年12月12日
GGUF
,
Yi-Model
,
llama.cpp
,
Python
,
Docker
,
Linux
基于 llama.cpp 框架介绍非常见整数位量化方案,涵盖 2、3、5、6 位等非标准位数量化技术。详细说明 GGUF 格式转换流程,包括使用 convert.py 将 PyTorch/Safetensors 模型转为 F16 中间格式,
阅读全文
««
«
1
2
3
4
5
6
7
8
9
»
»»