Tag: # Docker

本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型，让模型能够只使用 5GB 左右显存就能够运行。 阅读全文

本篇文章，我们聊聊如何使用 Docker 容器快速上手朋友团队出品的中文版 LLaMA2 开源大模型，国内第一个真正开源，可以运行、下载、私有部署，并且支持商业使用。 阅读全文

本篇文章，我们聊聊如何使用 Docker 容器快速上手 Meta AI 出品的 LLaMA2 开源大模型。 阅读全文

本篇文章聊聊如何通过 Docker 容器使用 Traefik，进行稳定的 Traefik 服务的部署。 阅读全文

本篇文章，我们继续前一篇的话题[《使用 Golang 和 Docker 运行 Python 代码》]，聊聊如何使用 Golang 和 Docker 将普通的 Python 软件包封装为高性能的服务。 阅读全文

本篇文章聊聊如何使用 Golang 来运行 Python 代码，用 Python 现成软件包来偷个懒儿，来少写一些代码。 阅读全文

本篇文章聊聊如何通过 Docker 和八十行左右的 Python 代码，实现一款类似 Midjourney 官方图片解析功能 Describe 的 Prompt 工具。让你在玩 Midjourney、Stable Diffusion 这类模型时，不再为生成 Prompt 描述挠头。 阅读全文

这篇文章中，我们来聊聊如何快速上手一众模型里，具有 14B 参数，但是比较特别的 RNN 模型：ChatRWKV。本文将介绍如何快手上手，包含使用一张 24 显存的 4090 高速推理生成内容，以及如何只使用 1.5G 显存就能运行这个模型。 阅读全文

这篇文章中，我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作，以及如何在一张普通的 4090 家用显卡上，只花几个小时，就能够完成 7B 模型的微调。 阅读全文