文章列表

本地运行面壁智能的“贺岁模型”:MiniCPM 2B

面壁智能发布的 MiniCPM 2B 是一款可在端侧运行的小参数量语言模型,提供 SFT 与 DPO 两个版本。该模型基于 Docker 容器环境部署,采用 Nvidia 官方 PyTorch 镜像配合 Transformers、Gradi 阅读全文

Stable Diffusion XL Turbo 文生图和图生图实践

介绍基于 Docker 快速部署 Stable Diffusion XL Turbo 模型的完整实践流程,涵盖环境配置、模型下载与验证、文生图及图生图推理程序编写等核心环节。该模型通过对抗扩散蒸馏技术实现实时图像生成,相较 LCM 性能提升 阅读全文

在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers

介绍在NVIDIA PyTorch容器环境中编译构建xFormers的方法,解决新版本CUDA兼容性滞后及安装时强制修改PyTorch与NumPy版本的问题。基于nvcr.io/nvidia/pytorch:23. 阅读全文

哔哩哔哩浏览器 AI 助手:bilibili subtitle

,
介绍开源浏览器插件 bilibili-subtitle,可为 B 站视频生成带时间轴的字幕、智能分章节、内容摘要与核心观点提取,支持点击跳转至指定片段。插件依赖 OpenAI API,可通过 Amazing OpenAI API 工具对接 阅读全文

Amazing OpenAI API:把非 OpenAI 模型都按 OpenAI API 调用

Amazing OpenAI API(AOA)是一款约10MB的开源工具,可将Azure OpenAI、Yi 34B-Chat、Gemini Pro等非OpenAI模型API转换为标准OpenAI API格式,使依赖OpenAI API的软 阅读全文

节省时间:AI 模型靠谱下载方案汇总

针对AI模型下载效率问题,梳理了HuggingFace官方CLI工具huggingface-hub与新推出的Rust版HF Transfer的详细配置方法,涵盖本地路径指定、断点续传、镜像加速等实操技巧;同时介绍了国内魔搭ModelScop 阅读全文

使用 Docker 和 Diffusers 快速上手 Stable Video Diffusion 图生视频大模型

介绍基于 Docker 与 Diffusers 工具包部署 Stable Video Diffusion 图生视频模型的完整流程。涵盖环境构建、Nvidia 镜像 OpenCV 依赖修正、模型下载与校验、推理程序编写及 Gradio 界面启 阅读全文

修复 OpenCV 依赖错误的小工具:OpenCV Fixer

, , ,
OpenCV Fixer 是一款用于自动修复 OpenCV 依赖兼容性问题的开源工具,可解决因旧版本 opencv 与 numpy 版本冲突导致的 `module 'cv2.dnn' has no attribute 'DictValue' 阅读全文

中文版大模型 Token 成本计算器

, ,
开源轻量工具 ai-token-calculator,约 10MB,基于 OpenAI 官方 tokenizer 汉化封装,用于直观计算大模型 API 的 Token 数量与使用成本。支持直接运行可执行文件、Docker 及 Docker 阅读全文

CPU 混合推理,非常见大模型量化方案:“二三五六” 位量化

, , , , ,
基于 llama.cpp 框架介绍非常见整数位量化方案,涵盖 2、3、5、6 位等非标准位数量化技术。详细说明 GGUF 格式转换流程,包括使用 convert.py 将 PyTorch/Safetensors 模型转为 F16 中间格式, 阅读全文