苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # VLLM
使用小尺寸大模型和 Dify 清洗数据:Qwen 2.5 7B
2024年09月30日
Dify
,
Qwen
,
Docker
,
VLLM
,
Linux
介绍基于 Dify 和 Qwen 2.5 7B 模型构建低成本数据清洗流水线的技术方案。选用 Qwen2.5-7B-Instruct-GPTQ-Int4 量化版本,通过 Docker 部署 PyTorch 环境,借助 VLLM 实现单卡约
阅读全文