文章列表

中文版大模型 Token 成本计算器

2023年12月28日, ,
分享一个轻量的小工具，10MB 左右，能够帮助你直观的了解大模型 Token 的计算方法。希望能够帮助到想了解或者正在规划模型 API 使用成本的你。 阅读全文

CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化

2023年12月12日, , , , ,
本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。 阅读全文

零一万物模型折腾笔记：官方 Yi-34B 模型基础使用

2023年12月10日, , , , ,
当争议和流量都消失后，或许现在是个合适的时间点，来抛开情绪、客观的聊聊这个 34B 模型本身，尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场景中的真实表现和对硬件的性能要求。或许，这会对也想在本地私有化部署和运行模型的你有帮助，本篇是第一篇相关内容。 阅读全文

把 Windows 11 装进移动硬盘：Windows 11 To Go

2023年12月05日, , , ,
本篇文章聊聊如何制作一个可以“说带走就带走”的 Windows 操作系统，将 Windows11 做成能够放在 U 盘或者移动硬盘里的 WinToGo “绿色软件”。 阅读全文

本地运行“李开复”的零一万物 34B 大模型

2023年11月26日, , , , ,
这篇文章，我们来聊聊如何本地运行最近争议颇多的，李开复带队的国产大模型：零一万物 34B。 阅读全文

硅谷的开源创业公司 Drone CI 的终章：上篇

2023年11月20日, , ,
最近有需求再次折腾 CI/CD，考虑到轻量化和稳定性，我将视线再次移到了 Drone CI 上，一款我个人从 18 年使用至今的开源软件。为什么在 2023 年，我还会选择这款软件，我想先从它背后的故事聊起。 阅读全文

使用 Redis 构建轻量的向量数据库应用：图片搜索引擎（二）

2023年11月16日, , , , , , , ,
本篇文章我们来继续聊聊轻量的向量数据库方案：Redis，如何完成整个图片搜索引擎功能。 阅读全文

使用 Redis 构建轻量的向量数据库应用：图片搜索引擎（一）

2023年11月15日, , , , , , , ,
本篇文章聊聊更轻量的向量数据库方案：Redis。以及基于 Redis 来快速实现一个高性能的本地图片搜索引擎，在本地环境中，使用最慢的稠密向量检索方式来在一张万图片中查找你想要的图片，总花费时间都不到十分之一秒。 阅读全文

开源软件 FFmpeg 生成模型使用图片数据集

2023年11月14日, , ,
本篇文章聊聊，成就了无数视频软件公司、无数在线视频网站、无数 CDN 云服务厂商的开源软件 [ffmpeg]。分享下如何使用它将各种视频或电影文件，转换成上万张图片数据集、壁纸集合，来让下一篇文章中的模型程序“有米下锅”，这个方法特别适合宫崎骏、新海诚这类“壁纸合集”类电影。 阅读全文

NAS 扩容简明指南：使用各种外设给 NAS 们扩容

2023年11月11日, , , ,
说起来有趣，NAS 除了“不同设备共享存储”这个功能之外，最重要的功能就是为设备扩容，但是 NAS 自己的存储容量不够了，又该如何。​这篇文章分享下我目前使用外设给 NAS 扩容的思路，如何以相对低的成本来获取更大的容量和更稳妥的数据存放体验，也聊聊入手了几个月的硬盘阵列盒，以及之前使用过的各种模式的好处和踩坑之处。 阅读全文