文章列表

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型

, , , , , ,
本篇文章聊聊如何使用 GGML 机器学习张量库,构建让我们能够使用 CPU 来运行 Meta 新推出的 LLaMA2 大模型。 阅读全文

使用 Transformers 量化 Meta AI LLaMA2 中文版大模型

本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型,让模型能够只使用 5GB 左右显存就能够运行。 阅读全文

使用 Docker 快速上手中文版 LLaMA2 开源大模型

, , , , ,
本篇文章,我们聊聊如何使用 Docker 容器快速上手朋友团队出品的中文版 LLaMA2 开源大模型,国内第一个真正开源,可以运行、下载、私有部署,并且支持商业使用。 阅读全文

使用 Docker 快速上手官方版 LLaMA2 开源大模型

, , , , ,
本篇文章,我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。 阅读全文

使用 Docker 和 Alpaca LoRA 对 LLaMA 65B 大模型进行 Fine-Tune

, , , ,
这篇文章中,我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作,以及如何在一张普通的 4090 家用显卡上,只花几个小时,就能够完成 7B 模型的微调。 阅读全文

模型杂谈:使用 IN8 量化推理运行 Meta “开源泄露”的大模型(LLaMA)

, , ,
接着之前文章[《模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)》]一文中的话题,继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。 阅读全文

模型杂谈:快速上手元宇宙大厂 Meta “开源泄露”的大模型(LLaMA)

, , ,
本篇文章聊聊如何低成本快速上手使用 Meta(Facebook)的开源模型 LLaMA。 阅读全文