文章查看
首页 > 其他> 统计文荟> 文章查看
  [字号      ]   [推荐]
应用大数据创新统计档案管理的思考
   2016-09-02

[摘要]大数据时代的到来对统计工作形成了巨大的挑战。政府统计机构要把握大数据时代的契机,充分运用大数据、物联网、移动终端、云计算等新技术,颠覆传统的数据采集、共享、开发流程,创新统计档案管理方法,更大程度地发掘统计档案的潜在价值,服务现代统计体系建设。

[关键词]大数据 统计档案 创新

“大数据”(big data),本意为信息爆炸时代产生的海量数据。作为云计算、物联网之后的IT产业又一次颠覆性的技术革命,开启了一个大规模生产、分享和应用数据的时代。统计部门作为经济社会发展的数据管理中心,要积极应对大数据带来的环境变化和需求变化,更大程度地发掘统计档案的潜在价值,更加全面地提供档案信息服务,更好地开展统计档案利用工作,让大数据在档案管理事业中大放异彩。

一、统计档案管理的基本概念

(一)统计档案的定义

统计档案是各级国家统计机关和企事业单位的统计部门在进行统计调查、统计分析等统计活动中直接形成的,具有一定保存价值的各种数字、文字、图表、声像及电子载体形式的历史记录,是具有有机历史联系的文件体系。

统计档案管理是指管理人员直接对档案实体和档案信息进行管理服务和开发利用所开展的各项工作,包括档案的收集、整理、保管,及档案的价值鉴定、编目、检索、编研、开发利用等。对于已形成的统计档案进行管理可分为档案的整理归类、编辑研究和开发利用,充分实现统计档案价值最直接的体现。

(二)统计档案的种类

目前主要有统计报表、统计资料和统计分析。

1.统计报表是由国家或地方政府统计机构统一设计的调查文件,并按照统一格式、统一时间、统一程序,自下而上提供统计资料的一种报告制度。统计报表有国家经济基本统计报表和专业统计报表两种。

2.统计资料是统计工作的成果,是研究社会经济发展规律,总结历史经验,对统计调查所取得的各项原始资料(包括历史资料)进行科学的加工与汇总。统计资料为统计分析提供了基础和前提条件。统计就是通过统计资料为社会主义建设和国家管理服务的,也是通过统计资料发挥其监督作用的。

3.统计分析是运用整理、汇总的统计资料,综合分析国民经济各方面的发展速度和比例关系,检查、监督并分析国民经济计划的执行情况,从中发现新情况、新问题,提出有数字、有情况、有分析的统计分析报告。

(三)统计档案的作用

1.统计档案是经济社会发展成果的真实记录,具有重要的史料价值。统计档案既是了解各行各业每个发展阶段情况的必不可少的资料,也是研究区域社会经济发展情况的珍贵历史记录。

2.统计档案是研究经济发展规律,制定经济政策的主要依据。通过对统计档案所提供的数字信息的研究,我们可以清楚地看到一个地区、一个部门的发展情况,进而从中找出制约经济发展的不利因素,通过调整经济政策,促进经济的高速发展。没有统计档案,我们就很难掌握经济发展的度,因此很难制定正确的经济政策。

3.统计档案是进行经济预测,制定长远规划的重要资料。统计档案所提供的信息,既有部门、行业信息,又有地域综合信息,这些信息都是进行统计预测所不可缺少的信息,是统计预测的客观依据。

4.统计档案记载了统计人员从统计学角度研究经济的成果。统计部门既是经济管理的综合部门,又是经济监督的重要部门。统计人员在从事统计调查过程中,通过对若干个经济现象的研究所写的统计分析和统计论文,是由表及里的深化分析成果,对于研究当时国家和社会的发展经济政策,具有重要参考价值,是领导进行宏观决策的重要依据。

二、统计档案如何适应大数据革命

(一)大数据背景下的统计工作

在政府统计发展历程中,统计部门始终广泛运用现代信息技术科学发展统计。近年来,国家统计局利用计算机、网络、数据库、空间信息等现代信息技术,建立了以基本单位、企业“一套表”制度、统一的数据采集处理软件和联网直报系统作为核心的统计四大工程。随着大数据时代的来临,统计数据生产方式也在发生着深刻变革,社会各界对统计信息的需求也大幅增加。这一趋势要求统计档案管理工作要积极应对大数据带来的变化。

1.数据采集实现电子化。

随着计算机在企业中的普及和企业生产经营信息化水平的提高,国家统计局在2011年开始全面推行企业“一套表”制度,将所有面向企业的统计调查整合成统一的报表,由企业通过网络在线填写数据,实现了在线审核,实时上报。

在抽样调查中大力推行手持电子终端,全面推行调查员直接调查,不断加大手机和手持PDA电子设备采集数据的力度,使数据采集方式、汇总方式、上报方式和数据审核方式发生根本性转变,大大促进了数据采集的规范化,载体形式更加广泛,满足不同层次的需求。

2.数据处理实现网络化。

我国已建成以国家统计局为中心,连接各省级、市级、县级统计机构和大部分乡镇、街道统计站的统计业务专网。依托业务专网,通过实施统计四大工程,建立起了以国家统计数据中心为核心,13个省级分节点数据中心组成的全国统一的统计联网直报体系。国家统计局各专业,各省、市、县、乡镇级统计机构都可按权限到国家数据中心获取调查对象的原始数据,通过国家统计局开发的支持各专业、各地区进行数据处理、分析的统计业务应用软件平台,实现在线加工数据。

目前,已基本建成以统计业务流程为基础,与统计业务应用软件平台对接,能够处理不同类别及统计业务的统计数据库体系,包括元数据库、专业原始数据库、统计地理信息库、基本单位名录库和国家数据库等。

3.空间信息技术广泛应用。

近年来,统计部门积极探索以地理信息系统(GIS)、遥感(RS)和全球定位系统(GPS)为代表的空间信息技术在统计中的应用。在“三农”调查领域,国家统计局已在江苏等地开始利用遥感技术进行农作物抽样调查和农作物播种面积的遥感测量。在投资统计领域,正在探索利用全球定位系统和遥感开展投资项目的监测和调查。在普查领域,通过国土资源部门提供的高分辨率卫星遥感影像资料和相关地理数据,对普查小区进行了统一管理和无缝划分,确保了完整覆盖、不重不漏。在普查资料开发利用中,构建起适应国家、省、市、县、乡镇应用需要的五级基本单位统计空间信息系统和人口地理信息系统。

(二)大数据时代对统计档案管理的影响

目前,统计档案的利用取得了较好的社会效益和经济效益,但在利用种类上,多数局限于“实际利用”,即有特定实用目的的一般性查询利用上,缺乏综合分析、研究预测等数据加工过程,更缺乏利用偏好规律利用趋向等加工结果。简单的数据对于一般利用者来说意义不大,对经济发展、规划、预测和调控来说更是无关痛痒。然而,大数据时代的到来,未来的统计档案管理工作将逐步呈现“三大”挑战,也将给现在的统计档案利用带来相应的挑战。

1.对数据采集的挑战。

现行的统计数据的收集方式沿用多年,期间也进行了不同程度的改革,但是还不能满足日益发展的社会主义市场经济发展的需要,仍局限于少量的不同利用目的的人次,缺乏利用偏好规律、利用趋向的加工结果。传统的数据采集,往往是通过定式的报表采集被调查对象的数据,逐级填报、层层汇总的调查方式仍占主导地位。以现行的服务业调查为例,在采集原始数据时需要调查者与调查对象的参与,若调查者在调查过程中错记、漏记、汇总错误或无意漏报数据都会增加系统偏差,影响服务业统计数据的真实性,数据质量难以控制,在数据处理上也过于简单,无法挖掘潜在价值。而在大数据时代有了云计算和数据库以后,获取数据的手段将发生革命性变化,来源则多种多样。将可以通过信息网络、行政记录等手段获取海量的半结构化和非结构化数据,有用户信息数据、各类市场数据、物理媒介数据、互联网数据、各类社交媒体数据、视频音频产生的数据等。

2.对数据共享的挑战。

大数据时代统计档案服务将朝着社会化、多元化、开放性和先进性方向发展,以利用者的个性化需求为导向,使用统计数据是一种文化、一种习惯。如何从统计数据中去认识和利用?对于掌握海量数据的统计部门而言,在完成简单叠加只是汇总数据,缺乏有效的数据开发手段和单个指标特性挖掘工具,不能有效地进入深入的开发,挖掘关联指标间蕴含的海量信息。针对大数据即时产生、内容丰富、形式多样的特点,实现与部门数据之间的共享,丰富数据发布模式,及时、有效的开放统计数据,更好地服务社会公众,满足社会对统计数据开放的需求,更加全面的提供档案信息服务。

3.对数据开发的挑战。

在传统管理方式下,档案利用只是提供被动的查阅服务。目前,我们常规统计数据发布后在社会中能引起反响的不多,甚至还没有民间统计数据吸引眼球,不能有效及时统计社会关注点,主动性不强,给人们的感受就是统计数据与他们无关。通过观察我们不难发现,每次宏观数据发布后往往是媒体和机构在解读数据,统计本身对数据的解读较少,致使调查对象不能有效地理解宏观数据对自身的影响,关注需求降低。在大数据时代,统计数据开放可以让统计系统外的人一起参与进来,让公众更多的了解自己所生活的城市、所从事的行业、所工作的区域的相关信息,不再拘泥于新闻发布会、统计年鉴等传统的方式,利用大数据的理念和技术对统计业务档案进行加工和二次开发,更加注重分析、发现与预测,为利用者创造更多的价值。

三、统计档案在大数据时代如何作为

1.将统计档案转变为大数据中心。

信息技术革命与经济社会活动的交融催生了大数据,大数据是经济社会、现实世界、管理决策的片断记录,蕴含着海量碎片化信息。以淘宝为例,2015年销售额26000亿,2016年3月,手机淘宝的活跃用户是3.4亿。一个综合性的淘宝指数应运而生,用户可以查询购物数据,了解购物趋势,更加关注淘宝指数,而不是“居民消费价格指数”、“社会消费品零售总额”等统计指标。由于统计档案基本处于封闭或半封闭的管理,无法反映经济社会发展的变化情况,利用市场规律,无法实现统计咨询和统计监督的功能。

目前,世界统计已进入一个非常重要的变革时期,其中一个突出的发展方向就是将行政记录用于搜集统计数据。例如,芬兰官方统计产品的96%源自行政记录;瑞典的社会经济统计广泛地利用行政记录;德国的医疗及社会统计、环保统计、就业统计、人口统计等40%以上的联邦统计调查都是以行政记录为基础。统计部门得以从政府行政记录中获得完整和准确的个体信息,将规范的行政记录作为抽样调查准确的基础数据,变“死数据”为“活水源”。由于大数据时代的即时电子化数据,因此统计档案完全可以缩短接收和移交周期,甚至可以做到实时入档,确保信息的完整性和及时性,并由档案人员进行数据处理,提供更有效的分析查询。做好大数据时代的统计档案工作,必要将统计档案定位从统计数据转变为大数据中心。

2.利用大数据技术发挥统计档案的决策支撑作用。

目前,统计系统外存在的电子化的海量数据与统计档案管理之间还存在着一定落差,随着分析技术与计算技术的突破,解读这些海量碎片化信息已成为可能,这是大数据有望成为一种新的决策方式。大数据技术可以帮助我们实现科学决策,使科学决策具体化,能够合理的预测某种趋向,及时调整服务重点或者提前做好服务计划,从而推动管理理念、方式与方法的革命。基于大数据和大数据技术,统计档案信息的价值能够为以后的政府决策提供支撑,我们可以使用极为丰富的数据资源对统计发展进行实时分析,在更新更高层面上不断开创现代政府统计的新局面。

3.做好专业人员配备。

大数据将使利用统计档案工作专业化、大量化和复杂化,大数据的收集、整理、分析和利用能力将成为关键之所在,统计档案管理工作需要培养和造就一批大数据中心建设的人才,必须具备一定的统计理论和实务素养,掌握大数据技术、精通大数据管理、工作高效、适应大数据中心建设需要的档案管理工作队伍。此外,推动大数据中心建设,还要建立过错追究制度,强化档案人员的责任意识,促进利用统计档案工作质量的提升。在这种情形下,要及时对专兼职档案工作人员进行专业培训,加强信息技术、计算机等方面知识的学习,便于档案人员充分认识和研究应用大数据的意义,直面大数据、拥抱大数据,加快形成支撑大数据中心建设的既精通统计业务,又熟练掌握计算机运用技能,统计应用等多种能力的人才。

总之,大数据时代的到来,对统计档案管理工作既是挑战,更是机遇,对档案管理工作人员提出了更高的能力要求,将现代统计档案管理提升至一个新的高度。同时,统计档案利用工作在档案管理中的价值将进一步突显,很多重要的数据信息将会被有效的提取出来进行统计并加以分析,使现代档案管理工作效率得以提升,从而促进应用大数据创新统计档案管理的发展。