请选择 进入手机版 | 继续访问电脑版

好程序员-千锋教育旗下高端IT职业教育品牌

400-811-9990
我的账户
好程序员

专注高端IT职业培训

亲爱的猿猿,欢迎!

已有账号,请

如尚未注册?

[BigData] 大数据应用价值发现的三大方法

[复制链接]
沫沫老师 发表于 2018-12-6 11:17:29 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
本帖最后由 wowo 于 2018-12-11 13:30 编辑

    大数据价值的发现与其所处的应用场景密切相关。概括起来,大数据价值发现可以划分为三大类:数据服务、数据分析和数据探索。数据服务是面向大规模用户,提供高性能的数据查询、检索、预测等服务,通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验,通过对大规模数据使用特定的计算模型进行较为复杂的运算,从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合,通过不断揭示数据的规律和数据间的关联,引导分析人员发现并认识其所未知的数据模式或规律。
    1. 数据服务
    数据服务针对用户非常明确的数据查询和处理任务,以高性能和高吞吐量的方式实现大众化的服务,是数据价值最重要也是最直接的发现方式。由于要处理大众化的服务请求,每个服务任务必须能够被快速地处理掉,因此,数据服务的单个任务负载不能过于复杂,单任务直接处理的数据不能太大,任务对应的用户需求和采用的数据处理方法必须是明确的。一些典型的数据服务包括事务处理、数据查询、信息检索、数据预测。
    事务处理是传统数据库范畴的价值发现形式,它针对的主要是任务关键型的数据服务,如银行记账、商业交易等; 数据查询主要是面向快速查找或修改数据的服务需求,它比事务处理更简单,对数据一致性要求没那么强,但对服务的吞吐量要求非常高;信息检索是指从大规模的数据集中快速查找满足用户需求的资料或数据片段的过程;数据预测和数据分类被很多人认为是一种数据分析任务,其实,很多针对个体的数据预测和分类任务实际上是一种数据服务,它使用数据分析得来的预测模型,对个体数据实例进行预测,从而能够高并发地为大规模用户提供分类和预测服务,进而更好地体现出数据的价值。
   2. 数据分析
   数据分析是指用适当的统计分析方法对大量数据进行分析或建模,提取有用信息并形成结论,进而辅助人们决策的过程。在这个过程中,用户会有一个明确的目标,通过“数据清理、转换、建模、统计”等一系列复杂的操作,获得对数据的洞察,从而协助用户进行决策。常见的数据分析任务又可以被进一步划分为描述型分析、诊断型分析、预测型分析、策略型分析。
描述型分析的主要特点是对数据代表的含义进行描述性的揭示,通过数据统计分析揭示数据隐含的现象,从而帮助人们更好地进行决策。
    诊断型分析主要用来揭示一些现象背后的成因,因此,它比描述型分析更深入。很多数据挖掘方法与诊断型分析密切相关。比如相关性分析和因果关系的分析等,都是想通过对数据的深度分析揭示描述型分析所发现的某些现象背后的成因。
    预测型分析主要是使用机器学习技术,对现有的大数据进行深度分析,构建数据预测和分类的模型,从而更好地支持数据预测和分类服务。
策略型分析也称指导型分析,是在分析过程中减少甚至排除人的参与,在给定目标的驱动下,直接帮助人们找到好的策略,作用于大数据应用,使得未来数据指标能够按照设想的某些趋势发展。它是数据分析的高级阶段,更能发挥出大数据的价值。
    总之,数据分析一般基于大量数据和较为复杂的运算模型,其结果信息量通常很大,适用于宏观决策。而对于细节层面信息的获取,数据分析缺乏如索引和访问控制等方面的技术支持。如何在一个平台上,既支持宏观的分析,也支持细节的分析,是当今一个挑战的技术难题。
    3. 数据探索
    数据探索是指针对目标可变、持续、多角度的搜索或分析任务,其搜索过程是有选择、有策略和反复进行的。它将以找到信息为目的的传统信息检索模式变为以发现、学习和决策为目的的信息搜寻模式。这样的搜索模式结合了大量的数据分析与人机交互过程,适合于人们从数据中发现和学习更多的内容和价值。
    对于数据探索,用户可以在微观层面(数据搜索)和宏观层面(数据分析)之间进行自由切换,用交互式的方式探索并发现数据的价值。
    目前,随着大数据研究的兴起,探索式搜索这种交互式分析和探索数据价值的方式,逐渐引起人们的重视,还有很多问题等待研究者们进行深入的研究。
    数据服务强调从微观层面获取满足用户需求的精准信息,数据分析强调从宏观层面为用户提供数据洞察,进而提供决策支持,而数据探索则需要在宏观和微观两个层面进行自由切换。大数据蕴含大价值,数据服务、数据分析和数据探索是3个层次的数据价值发现方法。在很多应用下,这3类方法需要混合使用,才能更好地发现大数据的价值。
    好程序员大数据开发采用“T”字形的思维,以大数据的深度为主,以机器学习、云计算等作为宽度,终极目标是将你培养成一名“复合型”研发人才,让你自己在掌握相关大数据技术的同时,也能够赢得一份高薪职位。

精彩内容,一键分享给更多人!
回复

使用道具 举报

您需要登录后才可以回帖

本版积分规则

关注我们
好程序员
千锋好程序员

北京校区(总部):北京市海淀区宝盛北里西区28号中关村智诚科创大厦

深圳西部硅谷校区:深圳市宝安区宝安大道5010号深圳西部硅谷B座A区605-619

杭州龙驰智慧谷校区:浙江省杭州市下沙经济技术开发区元成路199号龙驰智慧谷B座7层

郑州校区:郑州市二七区航海中路60号海为科技园C区10层、12层

Copyright 2007-2019 北京千锋互联科技有限公司 .All Right

京ICP备12003911号-5 京公安网11010802011455号

请您保持通讯畅通1对1咨询马上开启