Wednesday, October 25, 2017

Big Data():HBase

Big Data():HBase

2017/10/12

施工中...

前言:



Summary:

本次介紹 HBase,參考資料主要有六部分:

1. Background [1]-[3]
2. Basic [4]-[13]
3. Command [14], [15]
4. HBase and HDFS, [16], [17]
5. HBase and Zookeeper[18]-[20]
6. Further [21]-[23]

第一部份是背景介紹。
第二部分是簡介。
第三部分是命令集。
第四部分是關於跟 HDFS 的比較。
第五部分是跟 Zookeeper 的關係。
第六部分是補充資料。Hadoop 生態系其他專案如 Sqoop、Hive、Cassandra。

-----

Outline

一、背景
二、HBase 簡介
三、命令集
四、與 HDFS 的比較
五、與 Zookeeper 的關係
六、補充資料

-----

一、背景

2003 年 Google 發布了重要的三篇大數據的論文:Google FS、MapReduce、BigTable [1], [2]。在開源碼社群,這三個概念則產生了 HDFS、MapReduce、HBase [3]。

-----

二、HBase 簡介

首先看到 HBase 在 Hadoop 生態系中的位置,在不同的資料中,這個位置常有些小差異。

-----


Fig. 1.1a. Hadoop Ecosystem [7].



Fig. 1.1b. Hadoop Ecosystem [14].

-----


[9]

-----



[10]

-----




[11]

-----

References

1. Background

[1] Google不再用 MapReduce了! Beam 帶你進入資料新世界 _ GCP專門家
https://blog.gcp.expert/apache-beam-dataflow/ 

[2] Chang, Fay, et al. "Bigtable: A distributed storage system for structured data." ACM Transactions on Computer Systems (TOCS) 26.2 (2008): 4.
https://static.googleusercontent.com/media/research.google.com/zh-TW//archive/bigtable-osdi06.pdf

[3] GitHub - apache_hbase  Mirror of Apache HBase
https://github.com/apache/hbase

-----

2. Basic

[4] HBase_百度百科
https://baike.baidu.com/item/HBase

[5] HareDB   Hybrid Database Transformation Solution for Hadoop, HBase
http://www.haredb.com/HareDB/src_tw/About.aspx?l=4 

[6] HBase 介紹 - Hadoop Taiwan User Group
http://www.hadoop.tw/2008/11/hbase.html

[7] hbase 简介_Linux_脚本之家
http://www.jb51.net/article/124935.htm

[8] 深入浅析hbase的优点_java_脚本之家
http://www.jb51.net/article/124791.htm 
 
[9] HBase在内容推荐引擎系统中的应用-HBase-@大数据资讯
http://www.thebigdata.cn/HBase/8806.html

[10] Handling Big Data with HBase Part 3  Architecture Overview - DZone Big Data
https://dzone.com/articles/handling-big-data-hbase-part-3

[11] Hbase Architecture   Hbase Internal Architecture & WAL (Write Ahead Logs)
http://hbasearchitecturebyvidya.blogspot.tw/2016/02/hbase-internal-architecture-wal-write.html

[12] Introduction to HBase, the NoSQL Database for Hadoop _ Introduction to HBase _ InformIT
http://www.informit.com/articles/article.aspx?p=2253412

[13] An In-Depth Look at the HBase Architecture _ MapR
https://mapr.com/blog/in-depth-look-hbase-architecture/

-----

3. Command

[14] HBase Shell指令 簡單練習 @ Kurt && Hadoop && Spark   痞客邦 PIXNET
http://kurthung1224.pixnet.net/blog/post/195564661-hbase-shell%E6%8C%87%E4%BB%A4-%E7%B0%A1%E5%96%AE%E7%B7%B4%E7%BF%92

[15] hbase shell基础和常用命令详解_linux shell_脚本之家
http://www.jb51.net/article/31172.htm

-----

4. HBase and HDFS

[16] HBase Overview
https://www.tutorialspoint.com/hbase/hbase_overview.htm

[17] HDFS vs. HBase   All you need to know
https://www.kdnuggets.com/2017/05/hdfs-hbase-need-know.html

-----

5. HBase and Zookeeper

[18] ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用 - 文章 - 伯乐在线
http://blog.jobbole.com/110388/

[19] Hadoop+HBase+ZooKeeper三者关系与安装配置_了知先生_新浪博客
http://blog.sina.com.cn/s/blog_5c5d5cdf0101dvgq.html

[20] Hadoop+HBase+ZooKeeper分布式集群环境搭建 _ 神奕的博客
https://songlee24.github.io/2015/07/20/hadoop-hbase-zookeeper-distributed-mode/

-----

6. Further

[21] Sqoop  Big data conduit between NoSQL and RDBMS
https://www.ibm.com/developerworks/library/bd-sqoop/index.html

[22] 大智若魚 人生處處是道場  [雲端計算]HBase vs Cassandra  我們遷移系統的原因
http://oss-tw.blogspot.tw/2010/04/hbase-vs-cassandra.html

[23] HBase vs Cassandra  why we moved _ Dominic Williams
https://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/

No comments: