《光明日报》日前刊文介绍了日本在推进大数据的研究和发展方面的探索。

日本政府在五年前发布了《创建最尖端IT国家宣言》，全面阐述了2013年至2020年间以发展开放公共数据和大数据为核心的国家战略，强调“提升日本竞争力，大数据应用不可或缺”。战略中包括了向民间开放公共数据、促进大数据的广泛应用等政策。为此，日本政府大量投资用于大数据研发，包括开发高速网络基础设施和试验高效的数据中心运营系统、数据分析应用项目，以此增加日本工业竞争力、拓展新行业。

日本政府还带头使用大数据，推出了电子政府，推动政府管理计算机化。日本政府还推出了专门的大数据网站，分门别类的各项数据来自各政府部门和机构，同时向数据提供者和数据使用者开放。

日本政府虽然在一般网站公开了国家统计和地图等庞大的数据，但是由于表达术语、书写形式、文件格式不统一，以及地方自治体的数据匮乏，没有民间企业的相关信息，政府很难有效地为国内外企业商品开发以及服务质量的提升提供帮助。据日媒报道，日本政府希望通过统一数据的表达术语、书写形式、文件格式等，积极和国际接轨，在2020年建立起能够涵盖美欧的全新门户型数据网站。

日本对大数据流通量进行了宏观的调查，涉及的内容为八种结构化数据，如客户数据、电子商务销售记录、健康保险理赔数据、气象数据等，以及九种非结构化数据，如电子医疗记录数据、诊断成像数据、访问连接数据等。调查结果显示，结构化数据是非结构化数据的3.3倍，从而说明真正体现大数据价值的非结构化大数据在日本尚未占据主流，同时也体现了日本当前互联网及电信领域具有应用大数据的数量优势。

据日本相关调查显示，从数据存储量来看，最大的是商业，然后是服务业、建筑业、制造业、金融业。而从大数据应用效果来看，程度最高的是零售业，然后是道路交通、制造业、广告业、金融业。在日本的各行各业中，大数据应用的领先行业是零售业、制造业和金融业。

在医疗行业方面，病历电子化以后，相关的检查结果、用药情况等都形成了大数据。一方面，去医院看病，避免了重复检查。另一方面，即便不去医院，医生也能根据数据库中的各种信息，为患者开药治疗疾病。医生根据相关数据，还可以预测患者将会罹患的疾病，及早预防。

随着大数据不断发展，日本认识到大数据不仅包括收集到的结构化数据和非结构化数据，还应包括数据处理分析技术和专业人才培养，教育大数据应运而生。教育大数据包括教育中产生的过程数据和结果数据，以及通过分析这些数据为学生提供个性化教育服务。同时，近些年平板电脑等个人移动终端在教育中的广泛应用，进一步推动了日本教育大数据向个别化和自适应性的方向发展。纵观其发展特点，一是重视对数据的分析与应用，实现教育大数据实用化。二是企业、政府及学校三方联合推进教育大数据研究及相关产业发展，并在学校开展实践应用，以检测研究成果或产品服务的实用性，实现教育大数据体系化。三是重视跨学科融合，不仅局限于教育学等学科和计算机技术等，还融合了数据分析和数据挖掘相关学科，推动教育大数据发展全面化。

近年来，日本在大数据方面也存在着各种各样的问题。首先是技术人才方面的挑战，未来这方面的人才需求量预计达25万人。其次是日本大数据市场仍存壁垒。尽管日本政府在数据共享方面起了表率作用，但仍然有很多日本企业没有大数据意识，认为数据是属于自己的，共享意愿不够。数据垄断使得企业间信息的不对称性进一步加大。大企业利用庞大的数据资源，获得巨大经济利益，形成了强者更强而弱者更弱的局面。最后就是大数据的安全性有待提升。一方面如何保证数据的安全性，另一方面，如何界定哪些个人数据可以被获取，被获取后如何使用、如何保证安全性。