西安大數據培訓 2021-04-27 10:58:30

西安達內教育為學員設置大數據培訓班,企業實戰教學,小班授課、源碼分析、動手實操、0基礎小白輕松掌握的大數據培訓課程,提供真正企業級實訓項目,大數據技術培訓,真實的互聯網數據流量,讓學員成為技術上的真正強者。
大數據云計算課程體系
內容較全,技術深,涉及JavaEE架構級技術,分布式高并發技術,云計算架構技術,云計算技術,云計算架構技術等。
提供“云計算云主機”試驗環境
提供真實的大數據云計算開發部署環境,學員可以擁有幾十臺主機節點以完成開發部署試驗。
O2O雙模式教學體驗
達內強大的TMOOC+TTS8.0在線教學平臺,為學員提供線下學習,線上輔助的雙模式教學體驗。
課程主題
課程內容
課程目標
階段(Java基礎)
Java語言的高級特性
靜態導入、自動封箱拆箱、可變參數、增強for、枚舉、類加載器、反射、內省、泛型、注解、動態代理回
掌握Java語言的高級特性
Java多線程
多線程加強、線程池、Thread Local
掌握Java線程池技術,掌握線程的Join、notify、notifyAll等機制
XML
Dom解析、Sax解析、Pull解析
Schema
基于Xml的解析與維護
Web
Html,Css,Js
掌握簡單的Html,Css,Js的編寫
實訓項目一:易買網項目
第二階段(Web階段,易買網項目貫穿)
JAVAWEB前端技術
項目介紹、項目開發流程
Html、CSS、JS
了解真實項目開發流程
掌握前端開發基本技術
JAVAWEB基礎技術
Tomcat、HTTP協議、Servlet、Jsp、EL、JSTL、自定義標簽
MVC、JAVAWEB三層架構
軟件分層、耦合、解耦
AJAX
掌握JAVAWEB基礎知識
深入理解軟件分層思想
AJAX實現異步刷新
JAVAWEB高級技術
Filter、Listener
文件上傳、下載
在線支付
過濾器、監聽器及常見應用場景
文件上傳、下載
在線支付功能實現 aa
JAVAWEB框架加強
面向切面編程
通過注解控制事務
java基礎加強、框架加強
JAVA高級特性
熟悉常見設計模式
通過模擬實現框架功能,為后續學習SSH打基礎
實訓項目二:國際物流項目
第三階段(Struts,Hibernate,Spring,SSH項目貫穿)
Struts2
分析Servlet缺點,進行重構
Struts.xml配置文件
ValueStack
Ognl表達式
屬性驅動、模型驅動、攔截器、文件上傳、token機制等
掌握Struts2在項目開發時用到的各種知識點,能夠應用
該框架熟練的開發
Hibernate
ORM的概念、CRUD的完成、Hibernate常用的配置、API詳細的分析、對象的三種狀態、關聯關系、檢索、優化、緩存機制
熟練掌握利用Hibernate框架完成項目的開發,深入理解ORMapping的概念,深入理解緩存機制
Spring
IOC、DI、動態代理模式、AOP、基于Spring的數據庫編程、Spring的聲明式事務處理,Struts2與Hibernate與Spring的整合
深入理解SpringIOC、DI在軟件架構中的作用,深入理解SpringAOP的實現機制和應用場景,Struts2的高級特性(對象工廠、靜態注入、插件機制、ThreadLocal針對ActionContext的封裝、Struts2的核心流程、結果集架構)、深入理 解SSH整合的原理
JQuery
JQuery常見選擇器的應用
利用JQuery控制Web界面
JS高級
JS面向對象的特征
對象、原型、閉包、JQuery內部結構解析等
Maven
Maven的概念、使用、原理、
Module的概念、倉庫
能用Maven搭建項目環境
熟練使用Maven的依賴和繼承機制
SSH項目:國際物流
項目背景、系統USE CASE圖、系統功能結構圖、系統框架圖、國際物流核心業務貨運管理、購銷合同業務、購銷合同下貨物、出口報運單、裝箱單、委托書、發票、財務統計、海量數據導出、出口報運、裝箱業務、Shiro安全框架、工作流Activiti5
掌握畫USECASE圖、系統結構圖、系統框架圖。
面試能順暢講述國際物流核心業務,包括:購銷合同、出口報運、裝箱、委托、發票、財務。
了解大型數據庫設計思路,及數據庫在設計上如何優化。
熟練實現合同、貨物、附件兩級主從結構。
熟練POI制式表單應用。
熟練應用Shiro安全框架。
熟練應用工作流Activiti5實現貨運管理流程控制。
實訓項目三:易買電商項目
第四階段(SpringMVC,Mybaties,SSM項目貫穿)
SpringMVC
模擬SpringMVC的核心部件寫一個例子、核心分發器、處理器映射、適配器、控制器、注解開發實例、標簽機制、攔截器機制、AJAX與JSON調用
熟練掌握SpringMVC的各個組件,理解SpringMVC的架構原理,利用SpringMVC開發項目
MyBaties
CRUD操作、SqlSessionFactory對象、SqlSession對象、集合參數、動態SQL語句、代碼優化、Mapper的接口、關聯關系、緩存機制、攔截器、MyEclipse插件的使用
熟練掌握SpringMVC的各個組件,理解SpringMVC的架構原理,利用SpringMVC開發項目
SSM項目(易買電商)
項目需求講解、環境的搭建、后臺系統實現、前臺系統搭建、內容管理實現、Redis緩存解決前臺訪問性能問題、單點登錄、異步訂單系統處理、Lucene與Solor實現文件的檢索、ActivityMQ實現消息的異步通信、MySQL的數據庫的讀寫分離、分布式環境的部署和實施
了解電商項目的需求分析,掌握用pom.xml文件構建項目,實現電商項目的前臺的內容管理、菜單管理、購物等。掌握Redis緩存如何提供性能、利用Solor做全文檢索、利用ActivityMQ的異步機制把緩存中的改動同步到 各個環節、掌握MySQL的主從復制和讀寫分離。利用lvs,keepalived,nginx,tomcat搭建高并發的web環境
實訓項目四:電信項目
第五階段(分布式、高并發、集群、電信項目貫穿)
網絡編程
Socket、Io、Nio、Mina、RPC技術、多線程、線程池
把電信項目的部分環節利用mina、RPC技術實現
數據倉庫
數據倉庫基礎知識
ETL
MySQL的導入工具、分表,分區、讀寫分離、存儲過程級多維分析
掌握數據倉庫的知識內容,這是云計算分析的基礎
分布式緩存
學習MemoryCache與Redis兩種緩存
掌握兩種緩存的原理、以及操作
Zookeeper
Zookeeper的選舉、數據的同步、Zookeeper的部署、Follow與Leader
了解Zookeeper的選舉算法、同步機制、掌握Zookeeper的集群的搭建
集群
Keepalived的Loadblancing機制、Nginex反向代理服務器、Tomcat集群、Lvs
利用Lvs、Keepalived、Nginx、Tomcat搭建高并發、分布式的Web服務器
SOA
Rest風格的服務架構、基于Rest風格的WebService的使用、dubbo服務框架的使用
利用服務性框架使得系統的耦合性更弱,擴展性更強
云計算
云計算的概念、Iaas、 Paas、Saas的理解、虛擬化的概念
理解云計算
電信項目
把上面所學的知識點全部結合起來做電信行業的日志分析系統
通過項目掌握MySQL的集群、讀寫分離、優化、掌握Mina框架的通信機制、掌握Zookeeper的高可用機制、利用MySql掌握數據倉庫的概念、利用分布式緩存提高系統的性能
實訓項目五:電信項目
第六階段(Hadoop,Spark,電信項目貫穿)
Hadoop的分布式文件系統HDFS
HDFS的概念、HDFS的API的應用、NameNode與SecondaryNameNode與DataNode的原理與通信機制、數據塊Block的概念、NameNode的文檔目錄樹、NameNode與DataNode的關聯
Hadoop偽分布式的搭建、利用HDFS的API對分布式文件系統進行操作、掌握NameNode與SecondaryNameNode的通信原理、掌握NameNode與DataNode的通信原理
Hadoop的計算框架MapReduce
利用MapReducer的計算框架實現電信日志的分析、深入理解Shuffle機制、FileOutPutFormat、FileInPutFormat
熟練Map、Reducer、Sort、Partition的編程、深入理解Shuffle機制、深入理解OutPutFormat與InputFormat、基于Hadoop的對象序列化機制
Hadoop的資源管理與資源調度
Yarn框架
深入理解MapReducer的通信機制:利用Yarn的資源管理和資源調度機制。理解進程ResourceManager,NodeManager,ApplicationMaster等進程的作用
深入理解Yarn的資源管理與資源調度機制。掌握整個MapReducer的計算流程和資源調度流程
HBase
搭建NOSQL數據庫HBase的集群、利用Zookeeper做HBase的HA機制
掌握HBase的集群的的搭建
HIVE
數據倉庫基礎知識、Hive定義、Hive體系結構簡介、Hive集群、客戶端簡介、 HiveQL定義、HiveQL與SQL的比較、數據類型、外部表和分區表、表的操作與CLI客戶端演示、數據導入與CLI客戶端演示、查詢數據與CLI 客戶端演示、數據的連接與CLI客戶端演示、用戶自定義函數(UDF)的開發與演示
利用HIVE做日志分析的查詢
Spark
Spark介紹:Spark應用場景、Scala編程語言、Scala高級編程、Spark集群部署等
利用Spark流式編程做日志的分析
電信項目
把第四階段的電信項目用Hadoop與Spark實現
熟練應用Hadoop的MapReducer,Hive與Spark
千億級數據倉庫:
項目介紹:分析PB級數據,為企業提供高效、穩健的實時數據洞察。采用類似阿里巴巴大數據數倉設計的分層架構思想,使用主流的實時倉庫技術Flink、Druid、Kafka。
可解決的現實問題
①企業級離線和流式數倉建設的方案和思想
②攻克企業級數據倉庫建設難點
③數倉模型的設計分層思想、指標/維度和模塊設計思想
④阿里巴巴數倉分層架構實戰
⑤利用Flink進行實時指標的開發
⑥利用druid時序分析數據庫
⑦用hive、kylin、hbase實現數據查詢的低延遲
企業級360°全方位用戶畫像:
項目介紹:360°全方位還原用戶畫像,實現對個體和群體信息的標簽化,實現精準推薦和營銷,采用Hadoop、Spark、Hbase、ElasticSearch核心技術棧
可解決的現實問題
①自義定SparkSQL/DataSource插件
②插件化集成Spark的ML/Mllib建模
③自定義Oozie定時工作流自動構建
④自動化生成用戶標簽
⑤對人/物的秒級畫像生成
⑥各種企業級組合標簽設計的思想和方案
⑦RFM模型(客戶價值模型)的應用實戰
FLINK電商指標分析項目:
項目介紹:基于電商公司電商系統,使用Flink分析電商網站的各種用戶行為(訪問行為、購物行為、點擊行為等),統計出PV、UV等數據,深入掌握Flink DataStream的核心理論知識。
可解決的現實問題
①解決企業里面海量數據對實時性要求要的數據分析和應用;
②解決企業里面流式復雜事件處理的問題;
③解決Flink企業級應用常見的優化技巧和手段。
DMP(數據管理系統)項目:
項目介紹:DMP全稱數據管理系統,為廣告系統提供數據服務,項目涉及標簽處理,用戶識別,圖計算等技術點,能夠有效提升大數據開發能力。
可解決的現實問題
①熟悉DMP系統的架構和開發,全面提升Spark編程能力;
②全面掌握Kudu存儲引擎以及其使用。
網站流量日志分析項目:
項目介紹:網站流量日志數據分析是一個純粹的數據分析項目,主要分為:數據采集、數據預處理、數據入庫、數據分析、數據展現5大步驟。
可解決的現實問題
①具備大數據數據分析能力;
②解決企業里面海量數據的數據分析和應用;
③解決企業里面海量數據的數據采集以及可視化的開發。
OPENSTACK核心服務:
項目介紹:OpenStack是一個開源的云計算管理平臺項目,由幾個主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的云環境,項目目標是提供實施簡單、可大規模擴展、豐富、標準統一的云計算管理平臺。
可解決的現實問題
①通過使用Openstack構建中小企業內部私有云平臺;
②通過Openstack私有云平臺為企業構建桌面虛擬化和服務器虛擬化的應用場景。