- 浏览: 2151638 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (682)
- 软件思想 (7)
- Lucene(修真篇) (17)
- Lucene(仙界篇) (20)
- Lucene(神界篇) (11)
- Solr (48)
- Hadoop (77)
- Spark (38)
- Hbase (26)
- Hive (19)
- Pig (25)
- ELK (64)
- Zookeeper (12)
- JAVA (119)
- Linux (59)
- 多线程 (8)
- Nutch (5)
- JAVA EE (21)
- Oracle (7)
- Python (32)
- Xml (5)
- Gson (1)
- Cygwin (1)
- JavaScript (4)
- MySQL (9)
- Lucene/Solr(转) (5)
- 缓存 (2)
- Github/Git (1)
- 开源爬虫 (1)
- Hadoop运维 (7)
- shell命令 (9)
- 生活感悟 (42)
- shell编程 (23)
- Scala (11)
- MongoDB (3)
- docker (2)
- Nodejs (3)
- Neo4j (5)
- storm (3)
- opencv (1)
最新评论
-
qindongliang1922:
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu:
不太理解“分词字段存储docvalue是没有意义的”,这句话, ...
浅谈Lucene中的DocValues -
yin_bp:
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的? -
hackWang:
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana:
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
Hive2.x已经足够稳定了,前面也安装过hive0.x和Hive1.x的版本,今天我们来看下hive2.x如何安装使用。
环境:
centos7.1
Hadoop2.7.3
JDK8
Hive2.1.0
1,首先需要下载hive最新的稳定版本的包,并保证的你Hadoop集群已经是能够正常运行的
http://ftp.kddilabs.jp/infosystems/apache/hive/
2,解压到指定目录
首先进入conf目录把所有带template后缀的文件,给移除后缀,只有hive-default.xml移除后缀后,需要修改名为hive-site.xml。
3,配置hive的log
vi conf/hive-log4j2.properties 配置下面的2个参数: property.hive.log.dir = /home/search/hive/logs property.hive.log.file = hive.log
4,配置使用MySQL作为元数据存储
关于安装mysql以及分配权限的请参考散仙之前的文章:http://qindongliang.iteye.com/blog/2337865
vi hive-site.xml 配置下面的几项参数 javax.jdo.option.ConnectionURL= jdbc:mysql://192.168.10.40:3306/hive?createDatabaseIfNotExist=true&characterEncoding=utf-8 javax.jdo.option.ConnectionUserName=root javax.jdo.option.ConnectionPassword=pwd javax.jdo.option.ConnectionDriverName=com.mysql.jdbc.Driver hive.metastore.warehouse.dir=hdfs://192.168.10.38:8020//user/hive/warehouse 其他的凡是包含 ${system:java.io.tmpdir}变量的统一替代成绝对路径,目录可以在 hive的根目录下建一个tmp目录,统一放进去
最后切记添加mysql的jdbc驱动包到hive/lib的目录下面
说明下上面的jdbc的url里面驱动字符串设置为数据库编码为utf-8此外&符号需要转义
jdbc:mysql://192.168.10.40:3306/hive?createDatabaseIfNotExist=true&characterEncoding=utf-8
此外默认hive读取Hbase的lib如果没有安装hbase则会启动不起来:
需要下载hbase然后配置对应的HBASE_HOME,文末会给出所有的环境变量
5,在hive2.x之后,需要先初始化schema如下:
$HIVE_HOME/bin/schematool -initSchema -dbType mysql
注意不执行这个,直接执行hive会报错:
Caused by: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql)) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3364) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3336) at org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions(Hive.java:3590)
执行成功打印结果如下:
[search@es1 ~]$ $HIVE_HOME/bin/schematool -initSchema -dbType mysql SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/search/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/search/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Metastore connection URL: jdbc:mysql://192.168.10.40:3306/hive?createDatabaseIfNotExist=true&characterEncoding=utf-8 Metastore Connection Driver : com.mysql.jdbc.Driver Metastore connection User: root Starting metastore schema initialization to 2.1.0 Initialization script hive-schema-2.1.0.mysql.sql Initialization script completed schemaTool completed
6,测试集群是否正常
在本地磁盘上新建一个文件a,写入内容如下
1,a 2,b 3,c 4,a 5,a 2,a 4,2 1,a 1,a
编写的create_sql如下:
sql -- 存在就删除 drop table if exists info ; -- 建表 CREATE TABLE info(id string, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; -- 加载数据 load data local inpath '/home/search/test_hive/a' into table info;
最后执行脚本,不报错就代表通过了:
hive -f create_sql
Hive2.x之后不推荐使用MR的方式运行任务了,推荐使用Tez或者Spark引擎运行job,但是mr还是支持的
执行下面的语句进行测试
hive -e "select count(*) from info" 运行成功,就代表Hive+Hadoop集成成功。 关于Hive On Tez 集成我下篇文章会介绍。
7,一些环境变量如下:
#JDK export JAVA_HOME=/home/search/jdk1.8.0_102/ export CLASSPATH=.:$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH #Maven export MAVEN_HOME=/home/search/apache-maven-3.3.9 export CLASSPATH=$CLASSPATH:$MAVEN_HOME/lib export PATH=$PATH:$MAVEN_HOME/bin #Ant export ANT_HOME=/home/search/ant export CLASSPATH=$CLASSPATH:$ANT_HOME/lib export PATH=$PATH:$ANT_HOME/bin #Hadoop export HADOOP_HOME=/home/search/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export CLASSPATH=.:$CLASSPATH:$HADOOP_COMMON_HOME:$HADOOP_COMMON_HOME/lib:$HADOOP_MAPRED_HOME:$HADOOP_HDFS_HOME:$HADOOP_HDFS_HOME #Hbase export HBASE_HOME=/home/search/hbase export CLASSPATH=$CLASSPATH:$HBASE_HOME/lib export PATH=$HBASE_HOME/bin:$PATH #Pig export PIG_HOME=/home/search/pig export PIG_CLASSPATH=$PIG_HOME/lib:$HADOOP_HOME/etc/hadoop export PATH=/ROOT/server/bigdata/pig/bin:$PATH #Zookeeper export ZOOKEEPER_HOME=/home/search/zookeeper export CLASSPATH=.:$ZOOKEEPER_HOME/lib export PATH=$PATH:$ZOOKEEPER_HOME/bin #Hive export HIVE_HOME=/home/search/hive export HIVE_CONF_DIR=$HIVE_HOME/conf export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf #JStorm export JSTORM_HOME=/home/search/jstorm-2.1.1 export CLASSPATH=$CLASSPATH:$JSTORM_HOME/lib export PATH=$PATH:$JSTORM_HOME/bin:$PATH #Scala export SCALA_HOME=/home/search/scala export CLASSPATH=.:$SCALA_HOME/lib export PATH=$PATH:$SCALA_HOME/bin #Spark export SPARK_HOME=/ROOT/server/spark export PATH=$PATH:$SPARK_HOME/bin
有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,与君同行。
发表评论
-
理解数据仓库中星型模型和雪花模型
2017-07-06 17:29 4285在数据仓库的建设中, ... -
spark sql on hive笔记一
2016-12-09 20:42 2226Spark sql on Hive非常方便,通过共享读取hiv ... -
Hive2.1.0集成Tez
2016-11-21 19:39 1300#### Tez是什么? Tez是Hontonworks ... -
Hue+Hive临时目录权限不够解决方案
2016-06-14 10:40 4642安装Hue后,可能会分配多个账户给一些业务部门操作hive,虽 ... -
hive自定义udf实现md5功能
2016-05-25 11:54 4990Hive自定义UDF实现md5算法 Hive发展至今,自身已 ... -
开源大数据索引项目hive-solr
2016-05-06 16:15 1909github地址:https://github.com/qi ... -
如何使用Hive集成Solr?
2016-03-17 15:05 2785(一)Hive+Solr简介 Hive ... -
Hive使用ORC格式存储离线表
2016-02-14 18:09 4273在大数据时代,列式存 ... -
Spark SQL+Hive历险记
2016-01-21 11:40 6069基础依赖环境 Apache Hadoop2.7.1 Apa ... -
Hive集成Tez让大象飞起来
2016-01-15 16:52 3086基础环境 Apache Hadoop2.7.1 Cen ... -
Apache Tez0.7编译笔记
2016-01-15 16:33 2435目前最新的Tez版本是0.8,但还不是稳定版,所以大家还 ... -
Bug死磕之hue集成的oozie+pig出现资源任务死锁问题
2016-01-14 15:52 3763这两天,打算给现有的 ... -
hadoop2.2生态系统快速安装脚本
2014-09-23 15:08 1921对于使用hadoop进行开发的朋友们,可能要自己搭建一套had ... -
Hadoop2.2.0+Hive0.13+Hbase0.96.2集成
2014-08-06 20:49 1807本篇,散仙主要讲的是使用Hive如何和Hbase集成,Hbas ... -
Eclipse+JDBC远程操作Hive0.13
2014-08-04 20:45 1961在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以 ... -
Hive0.13安装问题总结
2014-07-29 21:28 2214继上篇文章Hive安装之后 ... -
Hadoop2.2.0+Hive0.13+MySQL5.1集成安装
2014-07-29 20:33 2168本次散仙安装的Hive是Hive最新版本中的稳定版本,是基于H ... -
Hive的入门安装
2013-12-09 15:44 1665hive是基于Hadoop的一个数据仓库工具,可以将结构化的数 ...
相关推荐
apache-hive-2.1.0-bin
apache-hive-2.1.0-bin.tar.gz apache-hive-2.1.0-bin.tar.gz
apache-hive-2.1.0-bin.tar.gz
apache atlas2.1.0 整合CDH6.3.2编译安装包,下载Atlas2.1.0源码修改集成CDH6.3.2依赖整合编译包可直接用于CDH6.3.2版本下集成安装Atlas
hive-jdbc-2.1.0.jar
Apache Hive Essentials,2015,第一版,Packt Publishing
apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tarapache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tarapache-hive-2.1.1-bin.tar apache-hive-2.1.1-...
Apache Hive(apache-hive-3.1.3-bin.tar.gz、apache-hive-3.1.3-src.tar.gz)是一种分布式容错数据仓库系统,支持大规模分析,并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache...
atlas hive hook 已编译版本apache-atlas-2.1.0-hive-hook.tar.gz 可用于hive中进行数据抓取 和元数据信息管理
Apache Hive(apache-hive-1.2.2-bin.tar.gz、apache-hive-1.2.2-src.tar.gz)是一种分布式容错数据仓库系统,支持大规模分析,并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache...
Apache Hive Essentials-Packt Publishing(2015).pdf
打开压缩包得到apache-hive-2.3.9-bin.tar.gz
第7集:安装配置hive-2.1.1 合计8集: 1、ssh免登陆 2、安装配置jdk1.8 3、安装配置hadoop-2.7.7 4、安装配置mysql-5.5.44 5、安装配置scala-2.11.8 6、安装配置hbase-1.3.6 7、安装配置hive-2.1.1 8、安装配置spark...
Apache Hive
In this book, we prepare you for your journey into big data by firstly introducing you to backgrounds in the big data domain along with the process of setting up and getting familiar with your Hive ...
apache hive 2.3.4版本,开源.
apache-hive-3.1.2.bin.tar 资源 权威官网下载!
Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。Apache Hive起初由Facebook开发,目前也有其他公司使用和开发Apache Hive,例如Netflix等。亚马逊公司也开发了一个定制版本的...
apache-hive-2.3.3-bin.tar.gz
Hive入门经典教程 Apache Hive 淘宝团队验证