時(shí)間

主題

內(nèi)容見要

天

海量數(shù)據(jù)處理系統(tǒng)

的架構(gòu)設(shè)計(jì)

這個(gè)部分主要講解海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)，針對(duì)海量數(shù)據(jù)的問題設(shè)計(jì)海量數(shù)據(jù)的架構(gòu)解決方案。

• 海量數(shù)據(jù)處理的系統(tǒng)場(chǎng)景
• 大數(shù)據(jù)時(shí)代的數(shù)據(jù)架構(gòu)解決方案
• 海量數(shù)據(jù)處理的架構(gòu)匯總
• 8種海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)比較
• HBase在復(fù)雜數(shù)據(jù)體系中的位置
• HBase如何與其他海量數(shù)據(jù)處理系統(tǒng)協(xié)同
• 分布式系統(tǒng)架構(gòu)的海量數(shù)據(jù)處理設(shè)計(jì)
• 海量數(shù)據(jù)處理設(shè)計(jì)

典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)

NoSQL的實(shí)踐應(yīng)用

HBase與其他NoSQL的共存及其主要應(yīng)用場(chǎng)景分析

• NoSQL綜述解決的實(shí)際問題
• 關(guān)系數(shù)據(jù)庫暴露的問題
• High performance并發(fā)要求
• Huge Storage的存取
• High Scalability的服務(wù)器分布要求
• High Availability的服務(wù)器健壯要求
• 關(guān)系型數(shù)據(jù)庫失效的場(chǎng)景
• NoSQL與關(guān)系型數(shù)據(jù)庫設(shè)計(jì)理念比較
• HBase與關(guān)系型數(shù)據(jù)庫的協(xié)作
• HBase的優(yōu)劣及其與關(guān)系型數(shù)據(jù)庫的差異與區(qū)別
• NoSQL設(shè)計(jì)模型分析
• K-V模型的Column設(shè)計(jì)
• Document模型的B Tree設(shè)計(jì)
• Object模型的基于Object數(shù)據(jù)訪問設(shè)計(jì)
• NoSQL實(shí)例分析
• Apache Hbase架構(gòu)解析
• Facebook Cassandra架構(gòu)解析
• Google BigTable架構(gòu)解析
• NoSQL中Memcache與Redis的應(yīng)用場(chǎng)景
• NoSQL中MongoDB的應(yīng)用場(chǎng)景
• NoSQL中Hadoop, Spark的應(yīng)用場(chǎng)景
• 主流NoSQL的產(chǎn)品差異比較
• 綜合應(yīng)用NoSQL的解決方案處理復(fù)雜環(huán)境數(shù)據(jù)高負(fù)載，高并發(fā)， 高性能的數(shù)據(jù)體系
• HBase的應(yīng)用場(chǎng)景實(shí)踐解析及其解決的業(yè)務(wù)問題
  • 海量數(shù)據(jù)寫入
  • 消息類（類似Facebook的message）
  • Schema-free
  • LOG-Append類的業(yè)務(wù)
  • 大表的復(fù)雜/多維度索引
  • 分析類
  • 大批量讀取
• HBase的數(shù)據(jù)場(chǎng)景實(shí)踐解析
  • HBase表數(shù)據(jù)量的范圍
  • HBase的數(shù)據(jù)操作類別
  • HBase的讀寫場(chǎng)景
  • HBase的排序場(chǎng)景
  • HBase不適宜的技術(shù)場(chǎng)景

典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析NoSQL的綜合開源架構(gòu)應(yīng)用多種NoSQL的產(chǎn)品集合應(yīng)用

典型案例分析：結(jié)合一個(gè)大型互聯(lián)網(wǎng)系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析HBase的主要應(yīng)用場(chǎng)景及其解決的業(yè)務(wù)問題

Hadoop作為HBase的重要基石-HBase的存儲(chǔ)架構(gòu)

• 文件存儲(chǔ)-HDFS
• HDFS-工作原理
• 分布式Hadoop HDFS的集群搭建與部署
• HDFS核心架構(gòu)分析
• Hadoop HDFS讀/寫文件快速解析
• HBase與分布式Hadoop HDFS的關(guān)系
• 如何基于Hadoop HDFS構(gòu)建HBase
• 基于Hadoop HDFS的HBase存儲(chǔ)模型
• HBase的三層索引結(jié)構(gòu)
• HBase的Row Base設(shè)計(jì)思想
• HBase存儲(chǔ)的邏輯視圖與物理視圖
• HBase表的Row key鍵、Column Family列族、Cell qualifier列族修飾符（列）、Timestamp時(shí)間戳、Region區(qū)域、HBase鎖 解析
• HBase物理存儲(chǔ)模型的核心架構(gòu)
• HRegin與HTable的關(guān)系及其核心架構(gòu)分析
• HFile格式分析
• HFile的6個(gè)組成部分
• HLog 分析
• 三層B+樹的擴(kuò)展LSMTree
• Compact與Splite對(duì)性能的影響
• 如何優(yōu)化HBase的存儲(chǔ)

課堂演練：學(xué)員搭建一個(gè)基本的HBase通過HBase的文件體系， 了解HBase的存儲(chǔ)過程，并針對(duì)不同業(yè)務(wù)場(chǎng)景嘗試優(yōu)化HBase存儲(chǔ)

第二天

HBase集群架構(gòu)搭建及實(shí)踐案例沙盤演練

• HBase版本介紹與選擇
• HBase部署實(shí)踐
• 系統(tǒng)環(huán)境配置
• HBase進(jìn)程分布規(guī)劃與啟動(dòng)
• HBase Region Server
• 基于HBase的命令總結(jié)
• HBase高階使用操作
• HBase集群架構(gòu)搭建方法
• HBase集群架構(gòu)性能管理
• 去中心化的HBase單點(diǎn)問題改進(jìn)
• HBase的調(diào)優(yōu)和節(jié)點(diǎn)擴(kuò)展實(shí)踐
• 主要調(diào)優(yōu)工具和性能監(jiān)控工具
• HBase集群對(duì)于硬件的要求和選型
• HBase集群中對(duì)硬件、操作系統(tǒng)的調(diào)優(yōu)方法
• 實(shí)際案例分析
• ZooKeeper與HBase
• HBase Master與Region Server
• ZooKeeper在HBase集群中的應(yīng)用方式
• 基于HBase的集群解決方案
• 典型案例分析：結(jié)合一個(gè)大型商業(yè)系統(tǒng)的實(shí)例案例分析及演練HBase集群架構(gòu)搭建過程
• 課堂演練：學(xué)員搭建一個(gè)HBase與ZooKeeper的集群更加深入的了解Region Server, Mater, ZooKeeper之間的關(guān)系， 及HBase的高階操作與優(yōu)化

HBase架構(gòu)及實(shí)踐案例沙盤演練

• 為什么實(shí)用Hadoop/HBase
• Hadoop的架構(gòu)體系與HBase的應(yīng)用關(guān)系
• HBase的核心設(shè)計(jì)機(jī)制
• HBase的使用場(chǎng)景？什么情況下使用HBase，為什么使用HBase，HBase使用帶來的實(shí)踐價(jià)值
• 開發(fā)環(huán)境準(zhǔn)備
• Eclipse與HBase的集成
• HBase進(jìn)行數(shù)據(jù)讀、寫操作
• 基于的API編程模型及其開發(fā)演練
• 關(guān)系型數(shù)據(jù)庫與HBase
• HBase的Client端
• HBase架構(gòu)分析
• 基于HBase項(xiàng)目架構(gòu)設(shè)計(jì)
• 入庫和查詢的設(shè)計(jì)與實(shí)現(xiàn)
• 髙實(shí)時(shí)性，大并發(fā)下HBase的數(shù)據(jù)處理解決方案
• 案例演練HBase的主體特性
• Features:Scalability實(shí)現(xiàn)
• HBaseFeatures:Column-Oriented實(shí)現(xiàn)
• High Performance Random R/W實(shí)現(xiàn)
• HBase Features: Scan Search實(shí)現(xiàn)
• HBase Features: High‐Availability實(shí)現(xiàn)

典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析HBase的開源架構(gòu)應(yīng)用及其使用場(chǎng)景與整體系統(tǒng)架構(gòu)的結(jié)合

典型案例分析：通過HBase API完成一個(gè)復(fù)雜數(shù)據(jù)系統(tǒng)的操作過程

課堂演練：學(xué)員通過HBase API完成一個(gè)消息系統(tǒng)的HBase代碼

第三天

HBase 的表結(jié)構(gòu)設(shè)計(jì)

• 依據(jù)于業(yè)務(wù)的HBase表結(jié)構(gòu)設(shè)計(jì)的基本思想
• 基于星核結(jié)構(gòu)的思想進(jìn)行的HBase表結(jié)構(gòu)設(shè)計(jì)
• 數(shù)據(jù)雙寫的設(shè)計(jì)
• 索引表的設(shè)計(jì)
• Rowkey的設(shè)計(jì)建議
• Rowkey非單一ID
• Rowkey為組合性
• 如何通過Rowkey覆蓋查詢場(chǎng)景
• 創(chuàng)建分詞索引表
• 交互性應(yīng)用消息的表結(jié)構(gòu)設(shè)計(jì)
• 無結(jié)構(gòu)化數(shù)據(jù)的表結(jié)構(gòu)設(shè)計(jì)
• Column Family的設(shè)計(jì)
• 緩存表的設(shè)計(jì)

典型案例分析：結(jié)合一個(gè)大型互聯(lián)網(wǎng)電商系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析HBase的表結(jié)構(gòu)設(shè)計(jì)

課堂演練：學(xué)員通過HBase API完成一個(gè)類似于滴滴打車的高并發(fā)系統(tǒng)的HBase表結(jié)構(gòu)設(shè)計(jì)

HBase DB性能優(yōu)化

• 基于HBase的ZooKeeper優(yōu)化
• HBase的Region Server優(yōu)化
• HBase的存儲(chǔ)文件優(yōu)化
• HBase的緩存優(yōu)化
• HTablePool的設(shè)計(jì)
• HBase寫速度優(yōu)化的7個(gè)實(shí)踐
• HBase讀速度優(yōu)化的6個(gè)實(shí)踐
• HBase客戶端的讀寫優(yōu)化
• 如何調(diào)整業(yè)務(wù)訪問HBase的方式，從而整體優(yōu)化HBase的應(yīng)用性能
• HBase的表結(jié)構(gòu)設(shè)計(jì)優(yōu)化

典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)的應(yīng)用數(shù)據(jù)， 對(duì)HBase進(jìn)行性能測(cè)試， 演示不同優(yōu)化對(duì)于HBase性能的影響

HBase綜合案例演練

一個(gè)大型的實(shí)例大數(shù)據(jù)項(xiàng)目：

具備掌握HBase大數(shù)據(jù)應(yīng)用系統(tǒng)的完整 架構(gòu)設(shè)計(jì)，具備項(xiàng)目的分析、開發(fā)、部署的全過程的能力，貫穿前面課程的主要內(nèi)容，使大家熟悉一個(gè)完整大數(shù)據(jù)項(xiàng)目的分析、架構(gòu)設(shè)計(jì)、開發(fā)、優(yōu)化、部署的全過程。