`
qindongliang1922
  • 浏览: 2141131 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:116015
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:124371
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:58247
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:70192
社区版块
存档分类
最新评论

如何在kylin中构建一个cube

阅读更多





前面的文章介绍了Apache Kylin的安装及数据仓库里面的星型和雪花模型的概念,这篇文章我们来看下,如何构建一个kylin的cube进行查询。这里不得不吐槽一下Kylin的资料,少之又少出现问题网上基本找不到解决方案,所以想要学习kylin,建议大家买一本书系统的学习一下,这里推荐一本入门的书《基于Apache kylin构建大数据分析平台》,介绍的还可以。


下面来看下如何构建一个cube:

首先,我们要明白kylin的数据源主要来自Hive里面的各种表,如果想要进行测试,那么首先我们要在hive中有自己的表,注意,表的类型基本有两种,一种是事实表,一种是维度表,kylin使用的是星型模型,通常一个事实表会关联多个维度表,表的数据有了,下面就是通过kylin的ui界面来完成整个流程。除此之外keylin还支持从kafka构建流式表,由于使用场景比较少,这里就不讨论这个了。


下面通过一张图看下整个构建cube的操作流程:






(1) 登录7070端口下面的kylin的web管理页面,默认的用户名是KYLIN密码是ADMIN





(2)点击左上角的加号小按钮,新建一个工程





(3)选择这个工程,然后点击model面板,并点击Data Source面板,选择配置hive数据源,并加载需要用到的表同步到kylin里面






(4)点击Models,开始设计model,这个步骤主要是基础加工,配置一个事实表和多个维表以及他们的关联条件,和需要统计的维度和度量






(5)设计cube








(6)构建cube





(7)查看cule的构建进度





(8)最后查询cule数据




至此一整个的cuble构建流程完事,整体步骤还是比较多的,当然里面有一些步骤并没有说的那么详细,此外设计cuble的步骤有一些高级配置,对优化查询有着比较重要的作用,这块现在还没太深入,这个demo只是让我们有一个整体的认识,如果对高级的设计感兴趣的朋友可以看kylin的官网文档。


Kylin的本质是基于空间换时间的策略来实现亚秒级的查询,本身只是一个Server,充分利用了Hadoop+Hive来把结果集数据预构建到Hbase里来优化提高查询效率。所以想要使用Kylin必须保证你的Hadoop,Hive,Hbase已经安装,并且能正常使用。


构建cube的本质,其实就是把各种可能用到的查询,聚合,统计提前预计算好,然后按规则写入hbase,这样在查询的时候,基于rowkey的查询响应速度非常快,而且随着数据量的增大,查询响应时间基本是个常量,虽然查询很快,但是离线使用MapReduce来预构建cube的过程确实非常之慢,另外一个缺点是单kylin的server并发非常低,根据我们的测试也就40左右,大家可能有疑问,hbase本身支持的并发是非常强大的为什么到了kylin这里就这么低,其实kylin server服务不仅仅只是查询hbase的结果返回给前端,大部分时候都需要在server的内存里做各种运算,比如分页,排序,聚合等,所以如果大并发量一旦瞬间上来可把kylin server所在的tomcat的jvm内存给耗尽,最终导致任务失败或者服务挂掉。所以kylin的定位是给产品或者运营使用的大数据OLAP查询引擎,如果并发量比较高的业务,使用kylin一直要提前测试好,根据并发情况多部署几个kylin server服务。



总结:

总体来说,对于一些字段数固定且不经常改变schema的大表数据,采用kylin来进行OLAP查询是非常适合的,性能也不错,但是如果scheam经常变换,统计的维度和度量也可能变换这种场景是不太适合用kylin来解决的,可以尝试ES或者SOLR来分析,最后需要注意的事kylin的并发支持并不太好,非常高并发的查询服务,一定要严格测试后,多部署几个kylin server且做好读写分离,提交任务的server集群和查询server集群分开部署。



有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,与君同行。

  • 大小: 10.8 KB
  • 大小: 33.9 KB
  • 大小: 25.3 KB
  • 大小: 27.2 KB
  • 大小: 63 KB
  • 大小: 14.3 KB
  • 大小: 43.4 KB
  • 大小: 28.3 KB
  • 大小: 70.1 KB
  • 大小: 80.9 KB
  • 大小: 7.8 KB
  • 大小: 13.1 KB
  • 大小: 149.2 KB
0
1
分享到:
评论

相关推荐

    Apache Kylin 2.0 之Spark构建引擎

    Apache Kylin 作为领先的大数据OLAP分析平台步入了2.0时代,正逐渐从Hadoop上的传统OLAP演变为一个实时数据仓库,新的版本支持灵活的雪花模型和更加全面的SQL语法,引入了更加先进的Spark Cubing构建引擎,更好地...

    Kylin on Parquet.pdf

    开源OLAP分析引擎Kylin最新支持parquet存储,并且使用spark进行cube的构建。本文档是Kyligence工程师关于上述内容的相关分享。

    kylin 3.0.2下载

    存储引擎:构建好的Cube以Key-Value形式存储在HBase中,通过优化Rowkey加速查询。每一种维度的排列组合计算结果被保存为一个物化视图,叫做Cuboid. 优化算法:Cube本身是空间换时间,也会根据算法,剪枝优化掉一些...

    大数据技术之Kylin视频教程

    Apache Kylin是一个开源的分布式分析引擎,为大数据开发人员提供Hadoop/Spark之上的SQL查询接口,以及支持超大规模数据集的多维分析能力,在大数据领域有着广泛的应用,是大数据开发人员的必备技能之一。 本套视频...

    kylin简单介绍

    文档由 hankl 整理,欢迎拍砖 ~ 文档分为四个部分: 1: kylin 的基本介绍。 2: 如何构建 model。 3: 如何构建 cube。 4: 其他的一些基本操作

    kylin-mondrian-interaction, 关于Apache与 Pentaho Mondrian 交互的一些信息.zip

    kylin-mondrian-interaction, 关于Apache与 Pentaho Mondrian 交互的一些信息 Interaction InteractionKylin与 ...预安装要求你应当能够运行 Kylin,构建和创建一个 Cube多维数据集。 你还需要一个 Mondrian 4模

    kylin简介核心概念工作机制

    Apache kylin的核心概念 Apache kylin的工作机制 Apache kylin的架构及核心组件 构建cube的维度和度量

    Apach Kylin安装+入门案例(原始自创文档)

    1. 手动搭建Kylin并启动 2. 搭配Hive构建您的第一个Cube 3. 当中涉及虚拟机的一些配置和小脚本源代码 4. 如果有问题请及时私信我

    13天玩转千亿级数仓项目视频教程(离线+实时)

    2. Kylin的Cube创建 3. Kylin的数据膨胀介绍 阶段五:需求分析与项目设计 1. 需求分析 2. canal搭建 3. canal数据写入kafka 阶段六:订单与销售额指标计算 1. 销售额指标体系介绍 2. flink实时消费Kafka订单数主题...

    ApacheKylin分析型数据仓库 v4.0.0alpha

    为您提供ApacheKylin分析型数据仓库下载,Apache Kylin是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL...1、定义数据集上的一个星形或雪花形模型2、在定义的数据表上构建cube3、使用标准 SQL 通过

    Apache Kylin分析型数据仓库-其他

    1、定义数据集上的一个星形或雪花形模型2、在定义的数据表上构建cube3、使用标准 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查询,仅需亚秒级响应时间即可获得查询结果Kylin 提供与多种数据可视化工具的整合能力,如 ...

    超大数据集上的亚秒级查询工具Kylin教程

    定义数据集上的一个星形或雪花形模型在定义的数据表上构建cube使用标准SQL通过ODBC、JDBC或RESTFUL API进行查询,仅需亚秒级响应时间即可获得查询结果 Kylin提供与多种数据可视化工具的整合能力,如Tableau,PowerBI...

    【干货分享】ApacheKylin:一个OLAP利器

    1.Apachekylin是一个开源的海量数据分布式预处理...表(Table):表定义在hive中,是数据立方体(Datacube)的数据源,在buildcube之前,必须同步在kylin中。2.模型(model):模型描述了一个星型模式的数据结构,它定义

    ApacheKylin分析型数据仓库 v3.1.0

    为您提供ApacheKylin分析型数据仓库下载,Apache Kylin是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL...1、定义数据集上的一个星形或雪花形模型2、在定义的数据表上构建cube3、使用标准 SQL 通过

    ApacheKylin分析型数据仓库 v3.1.1

    为您提供ApacheKylin分析型数据仓库下载,Apache Kylin是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL...1、定义数据集上的一个星形或雪花形模型2、在定义的数据表上构建cube3、使用标准 SQL 通过

Global site tag (gtag.js) - Google Analytics