• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

hadoop-docker-nn: 使用 docker 完成hadoop hbase hive集群部署,hbase+hive 数据同步 ...

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

hadoop-docker-nn

开源软件地址:

https://gitee.com/supermy/hadoop-docker-nn

开源软件介绍:

微云(可快速扩充)

一键构造大数据平台-介绍

Hadoop介绍 及应用场景.

Hbase+Hive介绍 及应用场景.

普通版镜像包构造

压缩版镜像包构造《比较大》

常用场景1 hbase+hive(hbase进行删改的数据维护,hive进行复查查询和导入数据)

通过hive创建hbase表,在hive中增加数据,hbase同步增加数据,查看hive的数据。通过hive创建hbase表,在hbase中增加数据,查看hbase数据。

运行示例

运行

进入到当前目录

fig up -d && fig logs [namenode 节点启动较慢,需要二次启动]

观察日志

访问hbase信息页面 通过 http://192.168.59.103:60010/。

访问RegionServer的信息页面 通过 http://192.168.59.103:60030/。

测试snappy安装是否成功:

1 . 使用 CompressionTest 来查看snappy是否 enabled 并且能成功 loaded:

  • docker exec -u hdfs hbase_hb_1 bash -c "hdfs dfs -mkdir -p myhbase &&
    hbase org.apache.hadoop.hbase.util.CompressionTest snappytest snappy"

2 . 创建一章以snappy方式压缩的表来检查能否成功:

####初始化日志数据表

  • docker exec -u hdfs hbase_hb_1 bash -c "hbase shell < /data/hbase/hbase-init.rb"

  • docker exec -u hdfs hbase_rs_1 bash -c "hive -f /data/hbase/hive-init.sql"

#在hbase插入一条数据,hive查询数据同步增加#>hbase shell#>put 'hive_hbase_log',1, 'log:full', '100'#>scan ‘hive_hbase_log'

hbase+hive示例

https://github.com/supermy/hadoop-docker-nnhttp://t.cn/RA6by8L


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap