苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # Python
模型杂谈:1.5G 显存就能运行的 RNN 14B 的开源模型(ChatRWKV)
2023年03月25日
ChatRWKV
,
Python
,
Docker
,
Linux
这篇文章中,我们来聊聊如何快速上手一众模型里,具有 14B 参数,但是比较特别的 RNN 模型:ChatRWKV。本文将介绍如何快手上手,包含使用一张 24 显存的 4090 高速推理生成内容,以及如何只使用 1.5G 显存就能运行这个模型。
阅读全文
使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune
2023年03月25日
Alpaca LoRA
,
LLaMA
,
Python
,
Docker
,
Linux
这篇文章中,我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作,以及如何在一张普通的 4090 家用显卡上,只花几个小时,就能够完成 7B 模型的微调。
阅读全文
模型杂谈:使用 IN8 量化推理运行 Meta “开源泄露”的大模型(LLaMA)
2023年03月13日
LLaMA
,
Python
,
Docker
,
Linux
接着之前文章[《模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)》]一文中的话题,继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。
阅读全文
模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)
2023年03月09日
LLaMA
,
Python
,
Docker
,
Linux
本篇文章聊聊如何低成本快速上手使用 Meta(Facebook)的开源模型 LLaMA。
阅读全文
模型杂谈:遭遇“下架风波”的首个国产语言大模型元语(ChatYuan)
2023年03月05日
Chat Yuan
,
Python
,
Docker
,
Linux
本篇文章,聊聊上线后引发媒体宣传,又迅速消失在公众视野中的 NLP 语言模型,元语(ChatYuan)。
阅读全文
在搭载 M1 及 M2 芯片 MacBook设备上玩 Stable Diffusion 模型
2022年12月10日
Stable Diffusion
,
Silicon
,
Core ML
,
Python
,
Apple
,
macOS
,
Linux
本篇文章,我们聊了如何使用搭载了 Apple Silicon 芯片(M1 和 M2 CPU)的 MacBook 设备上运行 Stable Diffusion 模型。
阅读全文
使用 Docker 来快速上手中文 Stable Diffusion 模型:太乙
2022年12月09日
Docker
,
Stable Diffusion
,
Python
,
GPU
,
太乙
,
Ubuntu
,
Linux
本篇文章,我们聊聊如何使用 Docker 快速运行中文 Stable Diffusion 模型:太乙。
阅读全文
使用 Docker 和 HuggingFace 实现 NLP 文本情感分析应用
2022年09月30日
Docker
,
Python
,
HuggingFace
,
Ubuntu
,
Linux
在继续分享“干燥、有趣”的[向量数据库实战]内容之前,我们来聊一篇简单有趣的内容:如何使用 Docker 和 HuggingFace 现成的模型,快速实现一个 NLP 文本情感分析应用,支持中英文内容的情感快速分析。在这篇文章里,我们不需要准备显卡和语料,也不需要耐心等待“炼丹”就绪,只要会“搭积木”,就能够实现这样一个有趣的小工具。
阅读全文
向量数据库入坑:使用 Docker 和 Milvus 快速构建本地轻量图片搜索引擎
2022年09月24日
向量数据库
,
Milvus
,
Docker
,
Python
,
Node.js
,
Ubuntu
,
Linux
本篇文章,我来分享如何使用 Docker 来搭建一个能够跑在本地的轻量图片搜索引擎,实现日常生活中我们习以为常,但是实现起来颇为麻烦的功能:以图搜图。
阅读全文
向量数据库入坑:入门向量数据库 Milvus 的 Docker 工具镜像
2022年09月17日
向量数据库
,
Milvus
,
Docker
,
Python
,
Ubuntu
,
Linux
在之前的文章中,我们聊过了一些和 Faiss 相关的事情,包括如何将数据转换为向量、如何挑选索引类型、如何简单加速向量检索性能、以及如何实现简单的语义搜索功能。也曾提到会聊聊更多实际场景中向量数据库的用法,揭开所谓大厂里的核心服务的神秘面纱,比如:实现简单的搜索引擎、推荐系统、风控系统等等。为了大家都能简单的上手,我做了一个 210MB 的 Docker 镜像,本篇文章就来讲讲这个镜像如何使用,以及我是如何制作这个镜像的。
阅读全文
««
«
1
2
»
»»