Tag: # Linux

本篇文章，聊聊如何在新版本 PyTorch 和 CUDA 容器环境中完成 xFormers 的编译构建。让你的模型应用能够跑的更快。 阅读全文

分享一个有趣的小工具，10MB 身材的小工具，能够将各种不同的模型 API 转换为开箱即用的 OpenAI API 格式。让许多依赖 OpenAI API 的软件能够借助开发者能够接触到的，非 OpenAI 的 API 私有部署和使用起来。 阅读全文

这篇文章，想分享下我日常是如何下载模型的，包括下载来源和工具使用细节，希望对折腾模型的你也有帮助。也希望开源和 AI 领域的研究者、从业者在做技术调研和落地实践的时候，都能节约一些时间。 阅读全文

使用 Docker 和 Diffusers 快速上手 Stable Video Diffusion 图生视频大模型 本篇文章聊聊，如何快速上手 Stable Video Diffusion (SVD) 图生视频大模型。 写在前面 月底计划在机器之心的“AI技术论坛”做关于使 阅读全文

使用 Nvidia 官方 Docker 镜像折腾 Stable Video Diffusion 的时候，发现 OpenCV 社区有一个古怪的 issue 需要手动解决，所以顺手写了一个能够自动修复的小工具。以及，聊聊如何快速的发布一个 Python 软件包。 阅读全文

一个不到 10MB 的小工具，来提供本地、快速的文档访问，来改善开发过程中，阅读在线文档体验糟糕的问题。以及，介绍如何快速制作一个利于分发使用的，离线文档工具包。 阅读全文

Gin 是 Golang 生态中目前最受用户欢迎和关注的 Web 框架，但是生态中的 Static 中间件使用起来却一直很不顺手。所以，我顺手改了它，然后把这个改良版开源了。 阅读全文

分享一个轻量的小工具，10MB 左右，能够帮助你直观的了解大模型 Token 的计算方法。希望能够帮助到想了解或者正在规划模型 API 使用成本的你。 阅读全文

本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。 阅读全文