博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
《Greenplum企业应用实战》一3.4 数据压缩
阅读量:6005 次
发布时间:2019-06-20

本文共 1201 字,大约阅读时间需要 4 分钟。

本节书摘来自华章出版社《Greenplum企业应用实战》一书中的第3章,第3.4节,作者 何勇 陈晓峰,更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.4 数据压缩

3.4.1 数据加载速度影响

基于table_distribute_4表创建一个普通的表。从Greenplum Performance Monitor页面可看到,在dell3和dell4上有大量磁盘写操作,如图3-10所示。

建表语句如下:

testDB=# create table test_compress_1 as select * from test_distribute_1 distributed by(flag);SELECT 5000000

image

基于table_distribute_4表创建一个压缩表。由于数据压缩比很大,从Greenplum Performance Monitor页面可看到,在dell3和dell4上基本没有磁盘写操作,只有读操作,如图3-11所示。建表语句如下:

testDB=# create table test_compress_2 with(appendonly=true,compresslevel=5) as select * from test_distribute_1 distributed by(flag);SELECT 5000000

image

3.4.2 数据查询速度影响

(1)普通表的数据查询

testDB=# select gp_segment_id,count(*),max(length(value)) from test_compress_1 group by 1; gp_segment_id |  count  | max  ---------------+---------+------             3 | 2498434 | 1024             2 | 2501566 | 1024(2 rows)Time: 65589.914 ms

磁盘消耗较大,如图3-12所示。

image

(2)压缩表的数据查询

testDB=# select gp_segment_id,count(*),max(length(value)) from test_compress_2 group by 1; gp_segment_id |  count  | max  ---------------+---------+------             3 | 2498434 | 1024             2 | 2501566 | 1024(2 rows)Time: 23004.626 ms

由于数据经过压缩,占用存储空间很小,从Greenplum Performance Monitor页面可看到,几乎没有磁盘读操作,如图3-13所示。

image

转载地址:http://ccvmx.baihongyu.com/

你可能感兴趣的文章
个人总结问卷调查,头脑风暴,焦点小组的区别
查看>>
【转】不懂得使用工具的测试不是好测试
查看>>
JMeter基础之-使用技巧
查看>>
获取post传输参数
查看>>
ASP生成静态页面的方法
查看>>
使用递归从数据库读取数据来动态建立菜单
查看>>
mysql 权限
查看>>
HDU 1325 Is It A Tree? 判断是否为一棵树
查看>>
[原]linux 配置 ssh 等效性
查看>>
51nod 1052 (dp)
查看>>
《ListBox》———设计预览效果
查看>>
闲话__stdcall, __cdecl, __fastcall出现的历史背景以及各自解决的问题
查看>>
NOI后训练记录
查看>>
二分法和牛顿迭代法
查看>>
OutLook The profile name you entered already exists.Enter a different profile name.
查看>>
Shell命令-文件压缩解压缩之gzip、zip
查看>>
The Unique MST
查看>>
个人总结
查看>>
uva 673 Parentheses Balance
查看>>
申请Let’s Encrypt免费证书,给自己网站增加https访问
查看>>