Tag: # Yi-Model

介绍如何基于 Dify、Meilisearch 与零一万物大模型构建轻量级 RAG 应用，以 AI 电影推荐为实践场景。核心方案采用 Docker 一键部署 Dify 0.6.8 与 Meilisearch 搜索引擎，通过简单接口拼接实现数 阅读全文

文章介绍了基于零一万物 yi-34b-chat-200K 模型与 Dify 平台构建自动化电子书翻译方案的完整实践。核心思路是利用 200K 超长上下文窗口一次性处理整章内容，避免传统切分章节的繁琐流程；通过 Dify 快速完成 Promp 阅读全文

Amazing OpenAI API（AOA）是一款约10MB的开源工具，可将Azure OpenAI、Yi 34B-Chat、Gemini Pro等非OpenAI模型API转换为标准OpenAI API格式，使依赖OpenAI API的软 阅读全文

基于 llama.cpp 框架介绍非常见整数位量化方案，涵盖 2、3、5、6 位等非标准位数量化技术。详细说明 GGUF 格式转换流程，包括使用 convert.py 将 PyTorch/Safetensors 模型转为 F16 中间格式， 阅读全文

基于实践测试，对零一万物官方 Yi-34B 及 Yi-34B-200K 模型的本地部署与基础使用进行客观记录。涵盖 Docker 与裸机两种环境配置、模型文件获取方式、硬件资源需求分析，重点验证模型在默认参数下的文本生成表现，包括指令遵循能 阅读全文

零一万物34B大模型本地部署方案详解，针对该模型量化后约24GB显存占用易触发内存溢出的问题，提出基于llama.cpp的CPU与GPU混合推理方案。通过Docker构建NVIDIA PyTorch运行环境，利用gguf格式模型与GPU层卸 阅读全文