提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表，并支持高并发

• * OLAP多维度分析场景下的解决方案介绍
• * kylin的架构原理
• * 数据立方体的创建过程（全量构建、增量构建、流式构建）
• * kylin客户端接口使用
• * kylin应用示例(电商埋点数据分析)

• apache Hbase
• apache kylin

分布式存储系统下的需求场景

* 随机读写 * 高吞吐 * 增量计算 * 实时查询 * 数据更新

• 2.1 分布式存储系统的设计思想及适用场景
• 2.2 各自适用场景及混合架构示例

• apache Hadoop
• apache alluxio
• apache kudu
• apache Hbase

在社交网络、风控系统、计算生物学等方面，利用图结构进行计算存储形成业务实体间的通联关系，来解决行业预测、风险评估/管控、投资理财等方面问题

• * 图构成（顶点、边、路径）
• * neo4j/janusGraph 环境搭建
• * neo4j/janusGraph 客户端API
• * 示例：图查询、最小路径、多层关系等
• * 基于spark的图计算(spark graph)

• neo4j/janusGraph
• apache Spark

底层基于Lucene的ES框架，可以快速查询、搜索、分析海量数据，并结合第三方框架快速查询数据

* V6 新特性介绍    * 架构原理及角色说明    * es客户端API   * 集群性能优化

* 应用示例

• * 基于spark/flink 读写
• * 实时场景下的时序库方案
• * 基于es数据映射hive/spark sql表

• elasticsearch
• apache Spark

kafka为处理实时数据提供一个统一、高吞吐、低延迟的平台，结合流式处理框架spark streaming/flink 构建实时数据平台，处理实时数据分析、业务报警、窗口统计等方面的需求

* 架构原理及角色说明    * 消息生产方式及同步列表、消息路由    * 消费流程及Exactly once    * 集群性能优化   

应用示例

• kafka 客户端api、productor consumer spark streaming /flink kafka

• apache kafka
• apache spark streaming
• apache flink

定时调度任务平台,解决T+1问题

1.* azkaban / airflow 环境搭建

2. * azkaban平台上创建定时任务

• azkaban-0.35

海量数据下的各类统计结果将会以各种形式呈现出来，对应数据湖来说包含了多种数据来源，提供访问多数据来源并拥有丰富的展示形式，帮助公司进行相关决策。

1.apache superset 大数据可视化，BI展示

2.实时展示

• 2.1 grafana／Kibana
• 2.2 多数据源支持
• 2.3 丰富的可视化展示及自定义dashbord
• 2.4 数据展示粒度可控

• apache superset
• grafana
• apache Spark sql
• apache Hbase
• apache kylin

从数据本身来考虑，通常数据挖掘需要有数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示等8个步骤

1.数据挖掘流程与算法

2.TensorFlow实现人工卷积网络

• 评价指标与特征工程
• 线性算法
• 分类算法
• 聚类算法

• 技术架构与建模
• 加载数据集
• 分割数据集
• 选择建立模型
• 训练模型