2023年围绕技术实践与内容创作展开多维度记录。 阅读全文

开源轻量工具 ai-token-calculator，约 10MB，基于 OpenAI 官方 tokenizer 汉化封装，用于直观计算大模型 API 的 Token 数量与使用成本。支持直接运行可执行文件、Docker 及 Docker 阅读全文

基于 llama.cpp 框架介绍非常见整数位量化方案，涵盖 2、3、5、6 位等非标准位数量化技术。详细说明 GGUF 格式转换流程，包括使用 convert.py 将 PyTorch/Safetensors 模型转为 F16 中间格式， 阅读全文

基于实践测试，对零一万物官方 Yi-34B 及 Yi-34B-200K 模型的本地部署与基础使用进行客观记录。涵盖 Docker 与裸机两种环境配置、模型文件获取方式、硬件资源需求分析，重点验证模型在默认参数下的文本生成表现，包括指令遵循能 阅读全文

Windows To Go 是微软在 Windows 10 时代推出的功能，允许将操作系统安装至 U 盘或移动硬盘，虽在 2004 版本后官方移除，但仍可在 Windows 11 上实现。制作需准备 Windows 11 镜像、第三方工具及 阅读全文

零一万物34B大模型本地部署方案详解，针对该模型量化后约24GB显存占用易触发内存溢出的问题，提出基于llama.cpp的CPU与GPU混合推理方案。通过Docker构建NVIDIA PyTorch运行环境，利用gguf格式模型与GPU层卸 阅读全文

Drone CI 是一款自 2012 年创建的开源持续交付软件，曾为 DockerHub 上超 1 亿下载量、5 万活跃用户的容器原生 CI 先驱。2020 年 8 月，Harness 宣布收购 Drone，此后开启资本扩张路径：2021 阅读全文

文章延续前篇，继续介绍基于 Redis 构建轻量级向量数据库的图片搜索引擎实现方案。重点阐述如何利用 OpenAI Clip 模型的文本-图像关联能力，通过两种文本交互方式扩展搜索功能：一是借助分类检测能力进行内容安全风控，通过关键词列表与 阅读全文

探讨基于 Redis 构建轻量级本地图片搜索引擎的技术实践，采用 Docker 容器化部署方案，结合 OpenAI CLIP 模型实现图片特征提取与向量化存储。针对万级图片数据集，使用稠密向量检索方式完成搜索，总耗时低于十分之一秒。 阅读全文