苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # ChatRWKV
模型杂谈:1.5G 显存就能运行的 RNN 14B 的开源模型(ChatRWKV)
2023年03月25日
ChatRWKV
,
Python
,
Docker
,
Linux
ChatRWKV 是一款拥有 140 亿参数的开源 RNN 架构语言模型,其突出特性在于极低的显存占用与灵活的部署方式。借助 Docker 容器化方案,用户可在配备 24GB 显存的 RTX 4090 显卡上实现高速推理,亦可通过量化等技术
阅读全文