文章列表

使用 ClickHouse 处理离线半结构化日志

, , , , ,
在[《快速上手 ClickHouse》]一文中,我们介绍了 ClickHouse 的基础使用。本篇文章里,将介绍如何使用 Clickhouse 快速处理诸如 Nginx 运行日志等半结构化的离线数据,让这些静态数据能够被快速的查询分析。 阅读全文

个人开发者的服务器日志收集

, , ,
互联网时代,数据的价值被无限强调,对于开发人员来说,日志并不陌生,但是不知道有多少人有尝试过系统化的收集和处理日志,本文尝试从服务器日志收集建设开始讲起,给出一套相对简单、经济的日志采集方案。这几年各家云主机轮番价格战之后,我们的云主机越来越多,网站也越来越多,除了在云主机管理面板或者通过API进行资源查询之外,有什么更好的方式可以尽可能在不大量编码,把不同云主机厂商的日志收归一处么?当然,现在的公司一般都配置了数据团队,会使用ELK技术栈或者SPARK技术栈去进行数据的ETL,但是对于个人来说,这些都过于笨重了,即使因为容器技术蓬勃发展,几个配置文件一两条命令就能够把服务启动起来,但是有2个小问题: 阅读全文