文章列表

Amazing OpenAI API:把非 OpenAI 模型都按 OpenAI API 调用

分享一个有趣的小工具,10MB 身材的小工具,能够将各种不同的模型 API 转换为开箱即用的 OpenAI API 格式。让许多依赖 OpenAI API 的软件能够借助开发者能够接触到的,非 OpenAI 的 API 私有部署和使用起来。 阅读全文

CPU 混合推理,非常见大模型量化方案:“二三五六” 位量化

, , , , ,
本篇文章聊聊网上聊的比较少的具体量化操作,非常见整型位数的量化,来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案:llama.cpp 。 阅读全文

零一万物模型折腾笔记:官方 Yi-34B 模型基础使用

, , , , ,
当争议和流量都消失后,或许现在是个合适的时间点,来抛开情绪、客观的聊聊这个 34B 模型本身,尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场景中的真实表现和对硬件的性能要求。或许,这会对也想在本地私有化部署和运行模型的你有帮助,本篇是第一篇相关内容。 阅读全文

本地运行“李开复”的零一万物 34B 大模型

, , , , ,
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 阅读全文