Tag: # Transformers

面壁智能发布的 MiniCPM 2B 是一款可在端侧运行的小参数量语言模型，提供 SFT 与 DPO 两个版本。该模型基于 Docker 容器环境部署，采用 Nvidia 官方 PyTorch 镜像配合 Transformers、Gradi 阅读全文

介绍基于 HuggingFace Transformers 对 Meta AI LLaMA2 中文版大模型进行 4BIT 量化的完整方案，使模型显存占用从 13-14GB 降至约 5GB。核心方法是通过 Transformers 内置的 B 阅读全文