文章吧手机版
大数据思维与实践
日期:2021-07-19 23:18:32 作者:157★★ 来源:文章吧 阅读:

大数据思维与实践

  “一切皆可数据化。”

  大数据时代悄然而至,无论是在我们的工作学习中,还是日常生活中,无处不存在数据。每一时每一刻都会产生海量的数据,在现代科技的技术支撑下,这些原本不被记录的海量数据被保存了下来。在这之前,这些零零碎碎的海量的数据,尽管数量庞大,但被关注的程度不高。值得区分的是,数据与大数据意思并不相同,甚至不是字面意义上的量级的不同。

  数据是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的的原始素材,是信息的表现形式和载体,可以是符号、文字、数字、语音、图像、视频等。数据和信息是不可分离的,数据是信息的表达,信息是数据的内涵。数据本身没有意义,数据只有对实体行为产生影响时才成为信息。

  而大数据,是现代高科技下的技术产物,大数据的三个特征,即数据量大、多维度和完备性。大数据的科学基础是信息论,它的本质就是利用信息消除不确定性。虽然人类使用信息由来已久,但是到了大数据时代,量变带来质变,以至于人们忽然发现,采用信息论的思维方式可以让过去很多难题迎刃而解。

  最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。"

  世界的本质是数据,万事万物都可以被数据的形式呈现出来,这是一种立足在大数据时代的新思维。大数据时代的到来为我们提供了一个前所未有的视角和世界观,但同时大数据也渗透进了我们的日常生活,我们要正视大数据时代的到来,了解大数据时代对生活产生的影响,对于当代人的重要性,拓展开来,我们在大数据时代应该拥有怎样的思维,怎样的新思维能够让我们在大数据时代的背景下得心应手,我们做事情的方法和方式应该做出怎样的改变?尤其是作为大学生,在接触社会最前沿知识和事物的我们,掌握大数据思维,知晓大数据实践的方法论是尤为重要的。

  在方法论的层面,大数据是一种全新的思维方式。按照大数据的思维方式,我们做事情的方式与方法需要从根本上改变。

  舍恩伯格在《大数据时代:生活、工作与思维的大变革》一书中明确指出,大数据时代最大的转变是思维方式的三种转变,具体包括:全样而非抽样、效率而非精确、相关而非效果。

  总体来说,大数据思维包括全样思维、容错思维和相关思维。

  要想理解大数据思维的重要性,我们先要了解很久之前,被沿用了很久的一种思维——机械思维。

  机械思维,其核心思想有世界变化的规律是确定的;因为有确定性做保障,因此规律不仅是可以被认识的,这些规律应该是放之四海而皆准的,可以应用到各种未知领域指导实践。

  但随着信息时代的来临,原本对社会进步产生了很大作用的机械思维已经逐渐吃力,局限性越来越大,随着信息的增多,事物之间的不确定性,以及不怎么密切的相关性逐渐增加,对世界认识得越清楚,就越知道不确定性,因此,在思维上需要做出一个重大的突破,大数据时代下的新思维作用就凸显了出来。

  首先,讲解一下全样思维。全样思维理解就是全样而非抽样。我们在小学的数学中都已经学过各种统计方法,在平常的生活中,由于数量的庞大和复杂多样,我们在统计某些东西的时候就会选择抽样的方法,通过抽样得到的数据,再推断全面的数据,一般情况来说,我们会获得一个虽然不太准确但会接近正确答案的答案,但这也是有局限的,抽样在极端情况下会出现结论不稳定的表现,这时候就需要全样的统计方法。

  全样的统计方法,例如人口普查,需要得出极为准确的答案。立足在当今社会,数据的采集和分析的难度并不像以往那么大,我们可以从各个监控器,档案,智能分析出各式各样的数据,抽样是数据采集、数据存储、数据分析、数据呈现技术达不到实际要求,或成本远超过预期的情况下的权宜之计。随着技术的发展,不可能存储和分析全样数据的情况都将一去不复返大数据时代是全样的时代。

  在生活中,谷歌采用搜索引擎大数据进行流感趋势预测,这就体现了全样思维的大数据思维,我们在学习中也是要使用到全样的思维。例如,在我们网购的时候,我们不会相信被商家精选出来的一小部分评价,会更加全面的去考察这家商家的全方面的信息,会结合更多的数据,去观察商家的口碑,去预测商品的质量,在很大程度上我们能够大大减少上当受骗的几率,避免自己买到假冒伪劣的产品;还有一方面是学习上的,学习要牢记的的是掌握知识的全面性,全样思维指导下,我们要了解一个问题的本质,不能说只了解片面的东西,从一个问题,它的提出,它的意图,它的答案,它的解答,全面全样的了解,才能更有利于深度的学习。

  接着是容错思维。容错思维含义是效率而非准确。因为在过去,我们选择的抽样的方法进行统计,每一个数据的错对,都会对推断结果的精确性造成很大的影响。而大数据思维里面,提倡采用的全样方法,获得的信息容量大,分析依据多,不会出现一项数据出现偏差,影响整个数据分析结果的局面;多容量,多类型的数据使得人们不在像有强迫症一般的对于数据的采集追求绝对的正确,大数据采集分析时,容许出现些许的偏差,因为在收集分析的超大容量的数据数量中,并不会影响最终数据分析出来的结果。

  我们也要清楚的认识到这一点,在容错思维应用在实践经历和生活日常的时候,我们分析事情的前提,如果面对超大容量的数据分析,还坚持所有采集的数据都必须绝对正确,这会是一件非常愚蠢的问题。举个例子,在我们进行调查问卷,采集信息时,如果我们面对的数据量比较大的话,一个个去分析每一位被采集信息者是否真的认真填写了问卷,填的东西是否真的与他们自身的信息相同,如果真的如此锱铢必较,那会是十分吃力不讨好的行为,既加大了工作负担,又影响工作进度。

  最后是相关思维,含义是相关而非效果。在机械思维作为社会主流的时代,人们都相信因果关系,认为世界的万事万物都是有因果联系的。但其实,因果关系是一种十分不稳定的关系,有因必有果的概念太过于武断。

  在抽样调查为主的时期,人们通过一条因果的逻辑链来推断事情。而作为推理依据的逻辑链,是通过抽样的方法分析得到的数据。一旦找到与逻辑链条稍微有不同的数据,整条因果理论就会被推翻。

  在大数据思维中,采集数据的方式是全样的,所获得的数据是多种类型的,在这个情况下,每一个信息,每一条数据能产生的逻辑链条,所产生的分析结果都会不一样,因此,因果关系在大数据思维中并不适用,大数据思维更加强调的是相关。每一条数据都与其他的数据具备一定的相关性,数据之间是交互的,交互的数据构成紧密的网络,但有明确的不是因果关系,在大数据思维里面有著名的例子:啤酒与尿布。

  很多男人去超市买了啤酒后会顺便买纸尿裤,但不是买啤酒就一定买纸尿裤。因此,啤酒喝纸尿裤的关系不能算因果关系,而只能是一种相关关系。

  这种思维被应用到商贸中,获得了一定的成功。

  一件事情并不一定会导致另外一种事情的发生,只是有关联性,并不是因果关系。

  那么在生活实践中,这种思维的作用又在哪里呢?不难想到,相关思维能够让我们更加客观,直面的看待问题,我们在分析数据,处理问题的时候,不会武断的想到,这件事是由这件事情导致的,而是想到这件事与这件事相关,保持这样的想法,我们就不会陷入思维的误区之中,也不会被经验所束缚。

  这是一种对于生活实践来说,可用性十分广阔的方法论,在指导我们的生活时,不会让我们沉浸在错误之中,能够更加敏锐的发现事物的更多方面。

  大数据时代带来的思维转变,是对于生活实践而言,提供了全新的方法论,作为大学生,我们要全面认知大数据思维,要重视大数据思维对我们的影响,大数据是一种思维方式的改变。现在的数据量相比过去大了很多,量变带来了质变,思维方式、做事情的方法就应该和以往有所不同。

评价:中立好评差评
【已有2位读者发表了评论】

┃ 大数据思维与实践的相关文章

┃ 每日推荐