大数据产业链全解析
2022-11-01 14:35:38   来源： 朱振鑫 新财学院   评论：0 点击：

　　2014年，马云提出了一个重要的新观点：“人类正从IT时代走向DT时代。”所谓IT，就是Information Technology，信息科技。所谓DT，就是Data Technology，数据科技。DT是IT的基础上更进一步的技术，通过对数据的收集、分析、处理，更好的服务于每一个人的生活和生产。

　　大家可以想一想，在二三十年前，获取信息的方式也就是读读书、看看报。一个星期的报纸加起来才有几个字？而在信息化时代，我们每天吃饭、运动、浏览新闻、购买商品、甚至睡眠时，产生的数据都会呈爆炸式增长。

　　这么多的数据本身其实没有什么用处，但数据里面包含一个很重要的东西，叫做信息。信息会包含很多规律，我们需要把这些规律提取出来，最终应用于实践。大数据分析的最终目的就是挖掘数据背后的价值。

　　大数据技术其实离我们的生活并不远。最常见的就是电商平台的推荐机制，我们经常会发现，在电商平台上买了A，又被推荐了B，恰好B又是自己想买的，这就是基于大数据带来的用户兴趣预测，非常有助于提升营销效率和用户粘性。再比如2020年疫情期间，百度、众云利用大数据平台优势打造"疫情地图"，实现疫情数据实时更新，以及潜在疫情动态监测，这就是大数据技术应用于联防联控的一个体现。

　　虽然业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备 Volume、Velocity、Variety 和 Value 四个特征。

　　第一个特征是Volume：表示大数据的数据体量巨大。数据集合的规模已经从 GB 级增加到 TB 级再增加到 PB 级，近年来，数据量甚至开始以 EB 和 ZB 来计数。据国际权威机构Statista的统计和预测，全球的数据量在2020年有望超过50ZB，也就是50万亿GB。举个最直观的例子，百度首页导航每天需要提供的数据超过1-5PB，如果将这些数据打印出来，会超过 5000 亿张 A4 纸。

　　第二个特征是Velocity：表示大数据的数据产生、处理和分析的速度在持续加快。业界对大数据的处理能力有一个称谓——“ 1 秒定律”，就是说对处理速度的要求一般是在秒级时间范围内给出分析结果。大数据的快速处理能力充分体现出它与传统的数据处理技术的本质区别，那就是可以从各种类型的数据中快速获得高价值的信息。

　　第三个特征是Variety：表示大数据的数据类型繁多。传统 IT 产业产生和处理的数据类型较为单一，大部分是结构化数据。不过，随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现，产生的数据类型无以计数。现在的数据类型不再只是格式化数据，更多的是半结构化或者非结构化数据，如 XML、邮件、博客、即时消息、视频、照片、点击流、日志文件等。

　　第四个特征是Value：表示大数据的数据价值密度低，但整体的价值确在不断提高。比如在一段一小时的监控视频中，有用的数据可能仅仅只有一两秒，但是却会非常重要。通过对大数据进行处理，找出其中潜在的商业价值，将会产生巨大的商业利润。

　　在数字经济时代，数据就是一种最重要的生产要素。大数据随之也成为了一个重要的产业。根据中工信部副部长介绍，“十三五”时期，我国大数据产业年均复合增长率超过了30%，2020年产业规模超过了1万亿元。2015年十八届五中全会，大数据产业就已经正式上升为国家战略，并在近五年取得了长足的发展。作为新基建七大领域之一，大数据中心是国家未来重点建设的方向。我国着力发展大数据产业，主要有以下两个原因：

　　第一，作为人口大国和制造大国，我国数据产生能力巨大，大数据资源极为丰富。随着数字中国建设的推进，各行业的数据资源采集、应用能力不断提升，将会导致更快更多的数据积累。我国的数据储备量在2020年可能已经突破12.5ZB，占全球总量的近四分之一，成为名列前茅的数据资源大国和全球数据中心。

　　第二，大数据是一种基础性和战略性资源，是新基建的“地基”。5G、人工智能、工业互联网等新一代信息技术的发展都离不开对大数据的需求，大数据中心的建立能够助力牢固信息化“地基”建设，可以说是新基建的根本。

　　大数据产业属于朝阳行业，成长性较高。不过，我国目前大数据领域的企业超3000余家，超70%的大数据企业为10人至100人规模的小型企业。竞争还比较激烈。未来可能脱颖而出的企业有两种类型，一种是掌握海量有效数据的企业，第二种是有强大数据分析能力的企业。

　　接下来我们就来梳理一下大数据产业链，看看哪些环节相对更有价值。大数据产业链可以分为六个环节，分别是数据源头、数据采集、数据存储、管理平台、数据分析和数据应用。从投资角度来看，其中数据的采集、存储和分析三个步骤是核心。数据源头由于涉及到个人隐私，受政策制约比较严重。大数据的应用在多数行业还处在导入初期，发展还不太成熟。所以我们主要讲下前面三个核心环节。

　　第一个环节是数据采集，这相当于大数据产业链中的“卖水人”。采集有两种方式，第一个方式是拿，专业点的说法就是爬取。搜索引擎就是这么做的：它把网上所有的信息都下载到它的数据中心，你一搜才能搜出来。在这个过程中可能用到的采集设备是网络探针。第二个方式是推送，很多终端像是摄像头、心率传感器等都可以帮我们收集数据，比如小米手环，可以将你每天跑步的数据，心跳的数据、睡眠的数据都上传到数据中心里面。