文章列表

模型杂谈:1.5G 显存就能运行的 RNN 14B 的开源模型(ChatRWKV)

, , ,
这篇文章中,我们来聊聊如何快速上手一众模型里,具有 14B 参数,但是比较特别的 RNN 模型:ChatRWKV。本文将介绍如何快手上手,包含使用一张 24 显存的 4090 高速推理生成内容,以及如何只使用 1.5G 显存就能运行这个模型。 阅读全文

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

, , , ,
这篇文章中,我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作,以及如何在一张普通的 4090 家用显卡上,只花几个小时,就能够完成 7B 模型的微调。 阅读全文

模型杂谈:使用 IN8 量化推理运行 Meta “开源泄露”的大模型(LLaMA)

, , ,
接着之前文章[《模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)》]一文中的话题,继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。 阅读全文

模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)

, , ,
本篇文章聊聊如何低成本快速上手使用 Meta(Facebook)的开源模型 LLaMA。 阅读全文

模型杂谈:遭遇“下架风波”的首个国产语言大模型元语(ChatYuan)

, , ,
本篇文章,聊聊上线后引发媒体宣传,又迅速消失在公众视野中的 NLP 语言模型,元语(ChatYuan)。 阅读全文

在搭载 M1 及 M2 芯片 MacBook设备上玩 Stable Diffusion 模型

本篇文章,我们聊了如何使用搭载了 Apple Silicon 芯片(M1 和 M2 CPU)的 MacBook 设备上运行 Stable Diffusion 模型。 阅读全文

使用 Docker 来快速上手中文 Stable Diffusion 模型:太乙

本篇文章,我们聊聊如何使用 Docker 快速运行中文 Stable Diffusion 模型:太乙。 阅读全文

使用 Docker 和 HuggingFace 实现 NLP 文本情感分析应用

, , , ,
在继续分享“干燥、有趣”的[向量数据库实战]内容之前,我们来聊一篇简单有趣的内容:如何使用 Docker 和 HuggingFace 现成的模型,快速实现一个 NLP 文本情感分析应用,支持中英文内容的情感快速分析。在这篇文章里,我们不需要准备显卡和语料,也不需要耐心等待“炼丹”就绪,只要会“搭积木”,就能够实现这样一个有趣的小工具。 阅读全文

向量数据库入坑:使用 Docker 和 Milvus 快速构建本地轻量图片搜索引擎

本篇文章,我来分享如何使用 Docker 来搭建一个能够跑在本地的轻量图片搜索引擎,实现日常生活中我们习以为常,但是实现起来颇为麻烦的功能:以图搜图。 阅读全文

向量数据库入坑:入门向量数据库 Milvus 的 Docker 工具镜像

在之前的文章中,我们聊过了一些和 Faiss 相关的事情,包括如何将数据转换为向量、如何挑选索引类型、如何简单加速向量检索性能、以及如何实现简单的语义搜索功能。也曾提到会聊聊更多实际场景中向量数据库的用法,揭开所谓大厂里的核心服务的神秘面纱,比如:实现简单的搜索引擎、推荐系统、风控系统等等。为了大家都能简单的上手,我做了一个 210MB 的 Docker 镜像,本篇文章就来讲讲这个镜像如何使用,以及我是如何制作这个镜像的。 阅读全文