文章列表

中文版大模型 Token 成本计算器

, ,
分享一个轻量的小工具,10MB 左右,能够帮助你直观的了解大模型 Token 的计算方法。希望能够帮助到想了解或者正在规划模型 API 使用成本的你。 阅读全文

CPU 混合推理,非常见大模型量化方案:“二三五六” 位量化

, , , , ,
本篇文章聊聊网上聊的比较少的具体量化操作,非常见整型位数的量化,来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案:llama.cpp 。 阅读全文

零一万物模型折腾笔记:官方 Yi-34B 模型基础使用

, , , , ,
当争议和流量都消失后,或许现在是个合适的时间点,来抛开情绪、客观的聊聊这个 34B 模型本身,尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场景中的真实表现和对硬件的性能要求。或许,这会对也想在本地私有化部署和运行模型的你有帮助,本篇是第一篇相关内容。 阅读全文

本地运行“李开复”的零一万物 34B 大模型

, , , , ,
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 阅读全文

使用 Redis 构建轻量的向量数据库应用:图片搜索引擎(二)

本篇文章我们来继续聊聊轻量的向量数据库方案:Redis,如何完成整个图片搜索引擎功能。 阅读全文

使用 Redis 构建轻量的向量数据库应用:图片搜索引擎(一)

本篇文章聊聊更轻量的向量数据库方案:Redis。以及基于 Redis 来快速实现一个高性能的本地图片搜索引擎,在本地环境中,使用最慢的稠密向量检索方式来在一张万图片中查找你想要的图片,总花费时间都不到十分之一秒。 阅读全文

基于 Docker 的深度学习环境:Windows 篇

本篇文章,我们聊聊如何在 Windows 环境下使用 Docker 作为深度学习环境,以及快速运行 SDXL 1.0 正式版,可能是目前网上比较简单的 Docker、WSL2 配置教程啦。 阅读全文

使用 Docker 快速上手 Stability AI 的 SDXL 1.0 正式版

本篇文章,我们聊聊如何使用 Docker 来本地部署使用 Stability AI 刚刚推出的 SDXL 1.0,新一代的开源图片生成模型,以及在当前如何高效的使用显卡进行推理。 阅读全文

OpenAI Code Interpreter 的开源实现:GPT Code UI

本篇文章聊聊 OpenAI Code Interpreter 的一众开源实现方案中,获得较多支持者,但暂时还比较早期的项目:GPT Code UI。 阅读全文

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型

, , , , , ,
本篇文章聊聊如何使用 GGML 机器学习张量库,构建让我们能够使用 CPU 来运行 Meta 新推出的 LLaMA2 大模型。 阅读全文