文章列表

Tag: # Python

模型杂谈：1.5G 显存就能运行的 RNN 14B 的开源模型（ChatRWKV）

2023年03月25日, , ,
这篇文章中，我们来聊聊如何快速上手一众模型里，具有 14B 参数，但是比较特别的 RNN 模型：ChatRWKV。本文将介绍如何快手上手，包含使用一张 24 显存的 4090 高速推理生成内容，以及如何只使用 1.5G 显存就能运行这个模型。 阅读全文

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

2023年03月25日, , , ,
这篇文章中，我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作，以及如何在一张普通的 4090 家用显卡上，只花几个小时，就能够完成 7B 模型的微调。 阅读全文

模型杂谈：使用 IN8 量化推理运行 Meta “开源泄露”的大模型（LLaMA）

2023年03月13日, , ,
接着之前文章[《模型杂谈：快速上手元宇宙大厂 Meta “开源泄露”的大模型（LLaMA）》]一文中的话题，继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。 阅读全文

模型杂谈：快速上手元宇宙大厂 Meta “开源泄露”的大模型（LLaMA）

2023年03月09日, , ,
本篇文章聊聊如何低成本快速上手使用 Meta（Facebook）的开源模型 LLaMA。 阅读全文

模型杂谈：遭遇“下架风波”的首个国产语言大模型元语（ChatYuan）

2023年03月05日, , ,
本篇文章，聊聊上线后引发媒体宣传，又迅速消失在公众视野中的 NLP 语言模型，元语（ChatYuan）。 阅读全文

在搭载 M1 及 M2 芯片 MacBook设备上玩 Stable Diffusion 模型

2022年12月10日, , , , , ,
本篇文章，我们聊了如何使用搭载了 Apple Silicon 芯片（M1 和 M2 CPU）的 MacBook 设备上运行 Stable Diffusion 模型。 阅读全文

使用 Docker 来快速上手中文 Stable Diffusion 模型：太乙

2022年12月09日, , , , , ,
本篇文章，我们聊聊如何使用 Docker 快速运行中文 Stable Diffusion 模型：太乙。 阅读全文

使用 Docker 和 HuggingFace 实现 NLP 文本情感分析应用

2022年09月30日, , , ,
在继续分享“干燥、有趣”的[向量数据库实战]内容之前，我们来聊一篇简单有趣的内容：如何使用 Docker 和 HuggingFace 现成的模型，快速实现一个 NLP 文本情感分析应用，支持中英文内容的情感快速分析。在这篇文章里，我们不需要准备显卡和语料，也不需要耐心等待“炼丹”就绪，只要会“搭积木”，就能够实现这样一个有趣的小工具。 阅读全文

向量数据库入坑：使用 Docker 和 Milvus 快速构建本地轻量图片搜索引擎

2022年09月24日, , , , , ,
本篇文章，我来分享如何使用 Docker 来搭建一个能够跑在本地的轻量图片搜索引擎，实现日常生活中我们习以为常，但是实现起来颇为麻烦的功能：以图搜图。 阅读全文

向量数据库入坑：入门向量数据库 Milvus 的 Docker 工具镜像

2022年09月17日, , , , ,
在之前的文章中，我们聊过了一些和 Faiss 相关的事情，包括如何将数据转换为向量、如何挑选索引类型、如何简单加速向量检索性能、以及如何实现简单的语义搜索功能。也曾提到会聊聊更多实际场景中向量数据库的用法，揭开所谓大厂里的核心服务的神秘面纱，比如：实现简单的搜索引擎、推荐系统、风控系统等等。为了大家都能简单的上手，我做了一个 210MB 的 Docker 镜像，本篇文章就来讲讲这个镜像如何使用，以及我是如何制作这个镜像的。 阅读全文