西安大數據培訓 2021-01-13 13:20:59
課程介紹
發布日期：2021-01-13 13:20:59
西安IT培訓為學員設置大數據培訓班，玩轉大數據全棧研發、二次開發，解決企業疑難雜癥，好程序員大數據+人工智能授課技術點廣而全、深而精，全面掌握任務調度，解決幾乎任何形式數據的存儲，高級數倉工程師、架構師必備技能。
無人駕駛技術：如何實現在車水馬龍中自由行駛？
應用原理：大數據進行數據的基礎性分析、集成系統、專家系統、機器學習及深度學習，包括自然語言處理、語音識別、人機交互等
大數據+人工智能應用案例：人臉識別到底是怎么工作的？
應用原理：基于大數據Spark的特征選取，人臉特征的分類模式，同時是機器學習CV方向的一個重要應用。
大數據+人工智能應用案例
AlphaGo為何能在：圍棋人機大戰中打敗李世石？
應用原理：大數據分析—>數據清洗、AI—>機器學習及深度學習、人機交互
大數據+人工智能應用案例
滴滴出行打車APP：如何實現智能派單？
應用原理：大數據計算框架—>Spark技術、Storm實時計算
項目庫項目數量：20個
業務線：30條
課程項目：
伴我汽車(電商平臺-離線)
共享汽車（共享平臺-離線）
某省交通平臺(交通行業-實時數倉)
某牛旅游平臺(旅游平臺-綜合)
某廣告投放(廣告平臺)
某p2p平臺(理財平臺)
數據地圖項目(數據治理平臺)
物流平臺(某高效運營支撐分析平臺)
通信行業(中國移動)
1.1.1班主任講話1.1.2負責人講話1.1.3講師講話1.1.4摸底考試...
1.3-流程控制
1.3.1分支流程控制-if 1.3.2分支流程控制-switch 1.3.3循環流程控制-while...
1.5-數組
1.5.1數組的定義與元素訪問1.5.2數組的內存分析1.5.3數組的常見操作...
1.7-面向對象進階
1.7.1包(package)的創建與使用1.7.2構造方法1.7.3代碼塊...
1.9-多態
1.9.1對象的轉型1.9.2 instanceof關鍵字1.9.3抽象類與抽象方法...
1.11-包裝類型與常用類
1.11.1包裝類型1.11.2常用類1.11.3枚舉...
1.13–字符串
1.13.1 String類常用方法1.13.2 StringBuffer/StringBuffer的常用方法1.13.3正則表達式...
1.15–多線程基礎
1.15.1多線程概念1.15.2并發與并行1.15.3創建線程的方式...
1.17–IO流
1.17.1流的基礎1.17.2流的分類1.17.3字節流...
1.19-反射
1.19.1 Class類1.19.2 Class獲取對象的三種方式1.19.3 Constructor構造方法...
1.21-MySql
1.21.1 SQL簡介1.21.2 SQL表的概念1.21.3數據庫的安裝卸載...
1.23階段考試
1.25 linux中軟件安裝
1.25.1軟件安裝介紹1.25.2二進制安裝1.25.3 rpm安裝...
1.27 awk
1.27.1 awk簡介1.27.2使用方法1.27.3入門實例...
1.2-基礎語法
1.2.1計算機理論介紹1.2.2編程基礎--進制分類，進制轉換等1.2.3什么是Java 1.2.4常用DOS命令...
1.4-方法
1.4.1方法的定義與調用1.4.2方法的參數與返回值1.4.3方法的重載...
1.6-面向對象入門
1.6.1面向對象與面向過程1.6.2類的設計1.6.3對象的實例化...
1.8-繼承
1.8.1繼承基本的概念1.8.2繼承中的特點1.8.3繼承中的構造方法...
1.10-設計模式
1.10.1單例設計模式1.10.2工廠設計模式1.10.3 Lambda表達式...
1.12–異常
1.12.1異常定義1.12.2常用結構.1.12.3 finally關鍵的應用...
1.14-集合框架
1.14.1集合框架Collection 1.14.2集合中元素排序1.14.3 Collections工具類...
1.16-線程高級
1.16.1線程生命周期1.16.2臨界資源問題1.16.3同步代碼段synchronized關鍵字...
1.18-Socket網絡編程
1.18.1 TCP 1.18.2 Socket 1.18.3 ServerSocket...
1.20–其他
1.20.1代理模式1.20.2注解1.20.3 Junit...
1.22-JDBC
1.22.1 JDBC概述1.22.2 JDBC原理1.22.3 JDBC的實現...
1.24 linux的基礎
1.24.1 linux的主要特性1.24.2常用的linux版本1.24.3 Vmvare的安裝...
1.26 shell腳本
1.26.1 Shell介紹1.26.2 Shell運行環境和運行方式1.26.3變量...
2.1.1 Consistency一致性2.1.2 Availability可用性2.1.3 Partition tolerance分區容忍性2.2.4數據量分布
2.3一致性、2PC和3PC
2.3.1一致性2.3.2 2PC流程2.3.3 3PC流程2.3.4一致性算法
2.2數據分布方式
2.2.1哈希方式2.2.2一致性哈希2.2.3范圍分布2.2.4數據量分布
2.4大數據集成架構概述
2.4.1大數據架構簡介
3.1.1 zk的概念3.1.2 zk架構3.1.3 zk讀寫...
3.3數據存儲alluxio(1T)
3.3.1 alluxio應用場景及架構組成3.3.2 alluxio存儲管理3.3.3 alluxio with spark...
3.5數據采集logstash
3.5.1 Logstash介紹3.5.2 Input組件介紹3.5.3 Filter組件介紹...
3.7數據同步datax(0.5T)
3.7.1 datax簡介3.7.2 datax核心架構3.7.3 datax插件介紹...
3.9計算模型MR與DAG(1T)
3.9.1 MR計算模型及流程3.9.2 DAG計算模型流程3.9.3 MR過程及調優...
3.11 Impala(1T)
3.11.1 impala簡介3.11.2 impala架構3.11.3 impala工作原理...
3.13任務調度airflow
3.13.1 airflow簡介3.13.2執行器3.13.3架構...
3.2數據存儲hdfs(2T)
3.2.1 hdfs應用場景與架構組成3.2.2 hdfs HA環境搭建3.2.3 hdfs元數據瓶頸及解決...
3.4數據采集flume(1T)
3.4.1 flume簡介-基礎知識3.4.2 flume安裝與測試3.4.3 flume部署方式...
3.6數據同步Sqoop(0.5T)
3.6.1 Sqoop簡介以及使用3.6.2 Sqoop shell使用3.6.3 Sqoop-import...
3.8數據同步mysql-binlog(1T)
3.8.1 mysql-binlog簡介3.8.2啟停binlog 3.8.3常用binlog日志操作命令...
3.10 hive(5T)
3.10.1 Hive是什么3.10.2 Hive的特點3.10.3 Hive架構簡述...
3.12任務調度Azkaban(1T)
3.12.1 Azkaban簡介3.12.2 Azkaban和oozie的對比3.12.3 Azkaban server安裝配置...
4.1.1數倉的歷史4.1.2數倉的背景4.1.3數倉的定義...
4.3多維數據模型處理kylin(3.5T)
4.3.1 kylin的概覽4.3.2安裝部署4.3.3集群模式部署...
4.2離線數倉項目-伴我汽車(5T)
4.2.1項目業務描述4.2.2項目技術4.2.3項目架構...
4.4離線數倉項目-伴我汽車升級
4.4.1加入kylin進行多維分析3.7.2 datax核心架構3.7.3 datax插件介紹...
5.1.1計算引擎介紹5.1.2計算引擎分類...
5.3 spark
5.3.1大數據架構體系5.3.2架構詳解5.3.3 Spark集群介紹...
5.5數據存儲redis
5.5.1什么是NoSQL 5.5.2 NoSQL數據庫的分類5.5.2 NoSQL數據庫的分類...
5.7離線項目-某p2p平臺
5.7.1項目描述5.7.2項目技術5.7.3 spark多數據源讀寫...
5.2 scala語言(4T)
5.2.1變量的聲明5.2.2數據類型和操作符5.2.3 if流程控制...
5.4數據存儲hbase
5.4.1 Hbase來源5.4.2 Hbase的架構5.4.3 Hbase集群搭建...
5.6 Kudu
5.6.1 kudu簡介5.6.2 kudu架構/原理5.6.3 kudu底層數據模型...
5.8第二階段考試
6.1.1 Kafka的基本概念6.1.2 Kafka的發展歷史6.1.3 Kafka的應用背景...
6.3流式數據處理flink(6T)
6.3.1 flink應用場景及架構組成6.3.2 flink流式處理6.3.3 flink sql...
6.5流式處理項目-某交通大數據平臺(5T)
6.5.1實時場景處理業務數據6.5.2可以進行數據明細的全文查詢6.5.3實時累計業務統計...
6.2實時數倉druid(5T)
6.2.1 druid應用場景及架構組成6.2.2 druid內部流程6.2.3 druid數據攝取...
6.4 SparkStreaming(2T)
6.4.1 Spark Streaming概述6.4.2 Spark Streaming的原理介紹6.4.3 Spark Streaming與Storm對比...
6.6第三階段考試
7.1.1全文檢索技術簡介7.1.2 ES安裝配置入門7.1.3 ES插件安裝7.1.4 ES基本操作
7.1 elasticsearch
7.1.9 CURL操作REST命令7.1.10 Windows安裝CURL 7.1.11創建索引7.1.12 RestApi：練習
7.1 elasticsearch
7.1.17更新文檔數據7.1.18刪除文檔數據7.1.19條件查詢QueryBuilder 7.1.20 queryStringQuery搜索內容查詢
7.1 elasticsearch
7.1.25 regexpQuery正則表達式查詢7.1.26 matchAllQuery查詢所有數據7.1.27 K分詞器集成ES 7.1.28 ES常用編程操作
7.1 elasticsearch
7.1.33查詢文檔分頁操作7.1.34得分（加權）7.1.35在Query的查詢中定義加權7.1.36在Field字段的映射中定義加權
7.1 elasticsearch
7.1.5 Index的概念7.1.6 Document的概念7.1.7 Type的概念7.1.8 map映射的概念
7.1 elasticsearch
7.1.13使用Java操作客戶端7.1.14新建文檔（自動創建索引和映射）7.1.15搜索文檔數據（單個索引）7.1.16搜索文檔數據（多個索引）
7.1 elasticsearch
7.1.21 wildcardQuery通配符查詢7.1.22 termQuery詞條查詢7.1.23 boolQuery布爾查詢7.1.24 fuzzyQuery模糊查詢
7.1 elasticsearch
7.1.29索引相關操作7.1.30映射相關操作7.1.31文檔相關操作7.1.32 IK分詞器自定義詞庫
7.1 elasticsearch
7.1.37過濾器7.1.38范圍過濾器7.1.39布爾過濾器
8.1.1數據標準8.1.2數據分類8.1.3數據建模...
8.3元數據、血緣及數據質量
8.3.1元數據及血緣構建8.3.2基于Hive Hook的元數據及血緣構建8.3.3 Apache Atlas開源元數據及血緣管理框架介紹...
8.4 Hive Hook
8.5 Spark Listener...
8.6 JanusGraph
8.7數據治理項目-數據地圖(5T)
8.7.1項目描述8.7.2項目選型8.7.3項目實現...
9.1.1 Superset簡介9.1.2 Superset編譯9.1.3 Superset安裝9.1.4創建數據源9.1.5添加數據表9.1.6表操作9.1.7數據探索分析9.1.8數據可視化9.1.9可視化圖表類型選擇9.1.10數據時間范圍9.1.11自定義
9.2 Graphna(RealTime)
9.2.1 grafana簡介9.2.2 grafana安裝部署9.2.3 grafana特征9.2.4數據源9.2.5快捷鍵9.2.6插件9.2.7 http的api
10.1.1微分學與梯度下降10.1.2數學分析與概率論10.1.3數理統計與參數估計10.1.4線性代數與信息論10.1.5凸優化...
10.2 Spark MLlib機器學習算法庫
10.2.1機器學習框架—假設函數、目標函數和最優函數10.2.2特征工程—數值型特征、類別型特征和有序特征10.2.3離散化處理10.2.4讀熱向量編碼10.2.5 TF-IDF權重...
10.3 Python scikit-learn機器學習算法庫
10.3.1回歸與分類算法(理論上)10.3.2回歸與分類算法(代碼實戰下)10.3.3支持向量機(理論上)10.3.4支持向量機(實戰下)10.3.5決策樹(Decision Tree)—>ID3、C4.5、Gini系數(理論上)...
10.4機器學習結合大數據項目
10.4.1《金融風控領域用戶貸款信用評分預測》10.4.2《搜狗知識圖譜》...
項目介紹：伴我汽車是一個汽車買賣、租賃和保養相關服務綜合性服務平臺，綜合分析用戶對汽車各項服務需求。對整個平臺買賣業務、租賃業務、保養業務等進行統計，將統計結果供運營和分析團隊，最終促進整個平臺良好發展。
項目架構：·數據采集：flume·數據同步：sqoop/datax·數據存儲：hdfs·數據計算：hive·任務調度：azkaban
共享平臺離線：
項目介紹：監控用戶出行用車情況，實時計算停車位、待服務車輛數、報修車輛數、違規次數等，為用戶提供更加高效和優質的用車體檢。
項目架構：·數據采集：flume·數據同步：sqoop/datax·數據存儲：hdfs·數據計算：hive·任務調度：azkaban·多維分析：kylin
交通行業-實時數倉：
項目介紹：通過交通出行記錄和卡口實時數據，監控全省內車輛、道路通行和事故等狀況，避免擁堵、避免交通事故、精準測速、防止套牌和提供便捷出行方案，預測擁堵系數，為全省各級提供最優道路規劃方案。
項目架構：·數據采集：flume/kafka·數據存儲：hdfs·數據計算：druid·任務調度：airflow·實時展示：Superset
旅游平臺綜合：
項目介紹：某牛旅游平臺，以旅游為主，集成酒店、交通、景區、保險等信息資源。通過對各業務進行統計分析，充分了解用戶，了解各服務，從而更好服務于用戶。
項目架構：·數據采集：flume/kafka/canal·數據存儲：hdfs·數據計算：hive/spark/druid·任務調度：azkaban·數據服務：spring boot·數據展示：echarts
數據治理平臺：
項目介紹：隨著網絡和智能終端的普及帶來了海量人群的上網行為數據，大數據技術的發展讓細分人群的特性成為可能。為高效將海量的數據呈現在不同人群面前，廣告投放數據的分析變得越來越普及。
項目架構：·數據采集：flume/kafka·數據存儲：hdfs/ElasticSearch·數據計算：spark·任務調度：azkaban·數據服務：spring boot·數據展示：echarts
廣告平臺：
項目介紹：個人和企事業資金需求，催生聯網金融迅猛發展，而國家金融體現管監待待成熟，企業需要自主把控風險，并通過有效的營銷和切實的安全保障機制，不斷吸引投資，優化借貸，提升盈利能力。
項目架構：·數據采集：flume/kafka·數據存儲：hdfs·數據計算：hive/spark streaming·任務調度：airflow·實時展示：Superset
理財平臺：
項目介紹：數據激增，各企事業單位大數據項目落地，但大數據項目中所涉及數據質量、元數據管理越來越成為企業焦點，
數據地圖項目旨在二次開和借助現有開源軟件共同去管理大數據項目中數據質量和元數據。
項目架構：·數據來源：mysql·數據存儲：hdfs/neo4j/janusgraph·數據計算：hive hook/griffin·實時展示：Graphana
某高效運營支撐分析平臺：
項目介紹：網購成熟，更加離不開物流，但是物流企業眾多，根據物流數據合理選擇配送物流，物流業務進行合理的配送，這將會大大降低物流成本，從而降低整個購物成本，為企業獲取更高利益。
項目架構：·數據采集：flume·數據同步：sqoop·數據存儲：hdfs·數據計算：hive/spark·任務調度：azkaban·數據服務：spring boot·數據展示：echarts
中國移動：
項目介紹：通信讓世界變得觸手可及，充值是通信行業一大業務，充值過程中會涉及到中國移動信息系統內部各個子系統之間的接口調用，接口故障監控也成為了重點監控的內容之一。為此建設一個能夠實時監控全國的充值情況的平臺，掌控全網的實時充值，各接口調用情況意義重大。
項目架構：·數據采集：kafka·數據存儲：hdfs/redis·數據計算：hive/spark streaming/flink·任務調度：azkaban·數據服務：spring boot·數據展示：echarts
上一篇:西安物聯網培訓
下一篇:西安軟件測試培訓
