产品说明
对于典型的8C32G服务器，日均处理pv量性能报表，每个pv包括首屏采集、鼠标点击和事件，约为pv的3-5倍数据量等（日志单位：条）
|
pv规模/日 |
日志量 |
日志高峰 |
日志解析 |
实时入库 |
平均CPU% |
平均load |
更新频率 |
mysql存储 |
|
100 W |
300-500W |
100/s |
50000/s |
500-800/s |
20-30% |
1-2 |
5分钟 |
1G/天 |
|
500 W |
1500-2500W |
400/s |
100000/s |
800-1200/s |
20-40% |
2-3 |
10分钟 |
5G/天 |
|
1000 W |
3000-5000W |
800/s |
150000/s |
1200-1800/s |
30-60% |
3-6 |
15分钟 |
10G/天 |
|
2000 W+ |
6000-10000W |
1500/s |
200000/s |
1800-2500/s |
60-80% |
6-12 |
30分钟 |
20G/天 |
mysql数据分为两大类
l 结果类型数据，长期存储，一般3-10年，数据积累慢，数据保存时间长，后期空间占用大，过期删除；
l 明细类型数据，短期存储，一般1-3个月，数据积累快，数据保存时间短，后期空间占用固定，过期删除；
转存clickhouse（转存后mysql数据都只保留最近1个月）
l 结果类型数据，长期存储，一般3-10年，综合空间利用率是mysql的20%-30%，查询速度快；
l 明细类型数据，长期存储，一般1-3年，综合空间利用率是mysql的20%-30%，查询速度快；
mysql与clickhouse磁盘对比（相同表结构）
l mysql，7,800,000，磁盘占用4.7G；
l clickhouse，84,000,000，磁盘占用9.4G；
换算成接近的数据量，mysql需乘以11倍，约占50G，clichouse仅占20%左右的空间；
mysql与clickhouse效率对比（相同表结构，查询条件）
select count(id) as allcount, FROM_unixtime(timestmp) from yeefx_oltp_history group by timestmp;
l mysql，7,800,000，3次平均耗时3.2s；
select count(id) as allcount, toDateTime(timestmp) from yeefx_oltp_history group by timestmp;
l clickhouse，84,000,000，3次平均耗时0.4s；
clickhouse在数据量10倍于mysql的情况下，查询效率是mysql的8倍；
