生态环境大数据发展现状与趋势

　　【摘要】随着大数据时代的到来生态环境大数据给生态环境领域研究带来了新的机遇与发展。本文回顾了生态环境大数据在收集、监测、分析与应用方面的发展现状。虽然生态环境大数据研究相对于其他领域起步较晚，但是目前正处于蓄势待发的状态。生态环境大数据研究未来的发展趋势为:一、建立数据共享机制;二、需要跨区域的不同监测站点甚至不同观测网络进行联合观测与研究,建立从样地到区域甚至到全球多尺度的、系统的观测与研究,并且应该推进观测的标准化和规范化,进一步统一不同生态环境观测网络的观测标准,建立国际统一的观测标准和规范;三、需要开发针生态环境对大数据的统计分析软件,尤其应该重视地理信息技术与统计分析技术的结合，特别是过程模型与大数据的结合。最后,虽然生态环境大数据的应用研究相对薄弱但未来的发展空间是巨大的,未来生态环境大数据的应用主要应该体现在生态环境资源管理、生态环境动态监测、生态环境评价等方面。

　　关键词：生态环境大数据;发展现状;趋势

　　1前言

　　20世纪后半叶以来,伴随着社会经济的高速发展全球生态环境问题日趋严重。目前全球生态环境问题突出表现在环境污染、土地退化、森林锐减、生物多样性丧失、水资源枯竭以及气候变化等方面。而这些问题往往是时间跨度长、涉及部门广、过程复杂、驱动因素众多,因此解决起来难度很大。现代社会面临的生态环境问题首先源于生态系统的内在复杂性,它不仅与地球科学(如地理学、水文学、海洋学、气象科学等)有密切的联系,还涉及数学、经济学、信息科学等学科。生态环境问题正跨越局域尺度扩展至全球尺度,这些都促使生态学家们在更大的时空尺度、更多的领域收集数据,进而完成更为复杂的分析[2,3,5]。随着大数据时代的到来,生态环境大数据将带给生态环境研究领域带来新的机遇与发展。

　　2生态环境大数据的定义及特点

　　2.1大数据与生态环境大数据的定义

　　维基百科(http://en.wikipedia.org/wiki/Bigdata)对大数据的定义为:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。国际前沿学术期刊《Nature》于2008年出版有关大数据的专刊并将大数据定义为:大数据是指数据集的规模是无法在可容忍的时间内用目前的技术、方法和理论去获取、管理、处理的数据[5]。作为第一家信息技术研究和分析的GartnerGroup公司在2012年提出大数据的定义为:大数据是高容量、高生成速率、种类繁多的信息价值,同时需要新的处理形式去确保判断的作出、洞察力的发现和处理的优化[9]。目前关于大数据,人们更多从商业、社会经济、信息技术和数据特征等角度来描述,综合当前国内外各类关于大数据的定义,可以这样理解,大数据是指通过传统技术手段难以有效收集、处理和应用的大而复杂的数据集。根据以上大数据的概念可见,大数据之“大”是相对的,是以传统数据为参考的,因此各个领域在界定大数据时没有绝对的标准。

　　此外,大数据之“大”不仅体现在数据量的大,也包括数据的高度复杂性,这包括数据来源与构成的多样性、数据流动的快速性(如实时更新)和数据质量的不确定性。随着大数据时代的到来,生态环境大数据的概念在学术领域和政府部门开始流行,但和大数据一样,目前还没有统一的定义和界定标准。生态环境大数据是大数据的一部分,是指生态环境领域所涉及的各类大数据,其具备大数据的一般特征。因此按照大数据的定义,生态环境大数据是指通过传统技术手段难以有效收集、处理和应用的大而复杂的生态环境数据集。

　　2.2生态环境大数据的特点

　　生态环境大数据作为大数据的一个类别同样具有五大特征:数量大(Volume)、种类多(Variety)、价值大(Value)、快时效(Velocity)、准确性(Veracity)。具体体现为以下几点:首先从数据规模和类型来看,生态环境大数据体量大、类型多、结构复杂。从内容上包括水、土、气层等方面的生态数据;从地域上来讲,包括全球各个尺度,如大气、海洋、土壤、植被、森林、湿地等各类生态系统的生态数据;从数据构成上关联物理过程和化学过程,空间变异性强,多样复杂,这都导致生态环境大数据来源的多样性。也由于生态环境大数据来源复杂多样直接导致其体量大的另一显著特点;其次从数据价值来看,生态环境大数据无疑具有巨大的潜在应用价值,如何从海量数据中挖掘出最有用的信息是生态环境大数据面临的最大挑战;再次从数据动态变化方面来看,由于生态系统结构与功能的动态变化生态环境数据多表现为流式数据特征,实时连续观测尤为重要。

　　例如,我国已经开发了一些污染物扩散预测模型,可由于缺乏大量实时数据的支持而不能进行精确地预测;最后从数据真实性来看,由于受野外监测条件的限制,生态环境大数据往往存在一定误差甚至存在错误数据。如何从海量数据中去伪存真获取真实数据是生态环境大数据面临的又一挑战。除了上述基本特征，生态环境大数据较其他领域大数据更加具有数据源多样又复杂、所在部门分散、监测体系不统一、跨历史事件长的独特特点。

　　3生态环境大数据的发展现状

　　早在20世纪中叶,“大数据”的思想已在生态环境领域得到体现,宏观生态学研究早已认识到了大数据的重要性。大数据在生态系统研究方面的应用,最早可以追溯到国际地球物理年(1957—1958)和国际生物学计划(IBP)(1964—1974),当时被称为大科学研究,其目的是通过收集大量的数据研究大尺度生态环境问题,后来这种研究演变成了现在的国际长期生态研究计划(ILTER)。直至目前随着科技的发展,生态环境大数据在收集、监测、分析与应用方面都相继取得了初步发展。

　　3.1生态环境大数据的收集与监测

　　目前国际上已经建立了多套覆盖全球的生态环境监测网络,总体来说可分为全球卫星遥感监测网络和地面监测网络这两大类。全球尺度的主要观测网络包括全球环境监测系统(GEMS)、全球陆地观测系统(CTOS)、国际长期生态研究网络(ILTER)、全球通量观测网络(FLUXNET)以及国际生物多样性观测网络(GEO·BON)等。有代表性的国家尺度生态环境观测研究网络包括美国的US—LTER生态环境观测研究网络、英国的ECN生态环境观测研究网络、中国的CERN生态环境观测研究网络和日本长期生态研究网络(JALTER)。随着全球生态环境问题日益突出,卫星遥感技术在生态环境监测与管理中的应用也越来越广泛，美国、日本及欧洲的一些国家近年来都在大力发展生态环境遥感监测技术。目前在轨运行的和计划发展的国内外卫星传感器提供数据的空间分辨率已从公里级发展到亚米级,重复观测频率从月周期发展到几小时,光谱波段跨越了可见光、红外到微波,光谱分辨率从多波段发展到超光谱,遥感数据获取技术正走向实时化和精确化,卫星遥感应用也正在向定量化和业务化快速发展[34]。

　　在陆地生态环境遥感监测方面,通常采用空间分辨率较高的陆地卫星和传感器,如美国的Landsat/TM系列、法国SPOT/HRV系列、印度IRS-1系列以及高光谱卫星如美国的EO-1/ALI及Hyperion等。在海洋卫星遥感方面也开展了全球范围的业务化运行,代表性的卫星平台和传感器有美国的Seastar/SeaWiFS、EOS/MODIS-TERRA&AQUA及欧空局的ENVISAT/MERIS、日本的ADEOS/GLI、印度的IRS/OCM等。另外,覆盖全球的大气监测卫星传感器主要有美国的NOAA/AVHRR、EOS/MODIS-TERRA&AQUA&AURA和欧空局的ENVISAT/SCIAMACHY、ERS-2/GOME、METOP-1/GOME-2及日本的ADEOS-Ⅱ/TOMS&TOVS等[37]。全球地面监测网络中,其中比较典型的是地面气象站监测网络和全球环境监测网络等。全球地面气象站监测网络集成了不同国家不同地区的实时天气观测数据,共包含100多种数据来源和35000个气象站点。

　　该监测网络涉及的气象站点数据可追溯到1901年,站点数量在二十世纪四十年代和七十年代出现了两次大幅度的增加,目前已经拥有了14000个每日更新的固定站点。全球地面气象站监测网络获取的气象参数主要包括风速风向、温度、云量、气压、可见度、降水以及积雪深度等其它要素(https://www.ncdc.noaa.gov)。全球环境监测系统是联合国环境规划署下属的全球和地区环境监测的协调中心,它系统地收集和分析了各种环境状况变化因素的数据和环境在时间和空间上的变化情况,并在此基础上对环境状况进行定期评价,从而提高对环境的管理、监测与评价水平。

　　该监测网络主要涉及陆地生态系统监测和环境污染监测,如大气组成和气候系统、淡水和海岸污染、空气污染、森林砍伐、臭氧层耗减、温室气体增加、酸雨、全球冰盖范围变化以及生物多样性问题等。我国生态环境大数据的研究起步较晚,环境保护部最近刚刚发布了《生态环境大数据建设总体方案》,但是该方案仅涉及到环保系统大数据的建设规划,而分布在其它部门的大量生态环境数据并没有在该方案中得以体现。在生态系统监测方面,我国已于1988年开始组建中国陆地生态系统监测网络,覆盖农田、森林、草原、荒漠、湖泊、海湾、沼泽、喀斯特及城市9类生态系统,观测指标达280多个。其中包括中科院所属45个站;国家林业局所属森林站105个、湿地站35个、荒漠站26个;农业部所属68个野外农业试验站和185个国家级草原固定监测站;此外水利部、教育部以及地方政府也拥有上百个生态监测站。同时,我国已初步建成包括岸基海洋观测系统、离岸海洋观测系统、大洋和极地观测的海洋生态系统观测网络,其中包括海洋站180多个、浮/潜标50多个、调查断面约120个、极地科考站4个。

　　此外,我国也初步建立了生态系统通量观测网,包括200余个通量站。在环境污染监测方面,我国已经初步建立了一套网络监测系统,涵盖大气、水和土壤等领域。其中,大气监测网包括1436个空气质量监测站点、82个沙尘暴监测站点、1011个酸雨监测站点、956个地表水水质监测断面、20401个地下水监测站点、301个近海水质监测站点、35000多个土壤污染监测站点。此外,在气象观测方面,近年来国家气象局已管理高达2000多个常规气象站,3万多个自动气象站和39个沙尘暴监测站点。

　　在水利方面,已拥有259个水文站及1435个水位站,其中水利卫星通信站达610个;国家水土流失监测网络目前由7大流域监测中心站、31个省级监测总站和175个重点地区监测站构成。在冰冻监测方面,已有冰川监测站4个,冻土监测站160余个。另外,我国目前已初步建成了综合资源环境遥感监测平台,包括陆地卫星9颗、气象卫星3颗、海洋卫星3颗。至今为止,一套天地立体监测系统已初步建立,但由于我国幅员辽阔,生态环境复杂,这些监测系统还无法完全满足生态环境建设的需要,很多监测网络有待进一步补充完善。首先这些网络系统分散于多个部门,存在着数据收集标准不一、质量参差不齐和数据共享极其困难等问题。另外,上述各类网络现阶段主要侧重于数据收集,在数据分析、挖掘、存储和利用等方面还非常薄弱甚至某些领域还是空白。例如在大数据的硬件支撑方面(超算和云计算),我国目前虽然拥有世界上最快的天河2号计算机,但由于应用软件开发滞后,数据分析与挖掘能力不足,导致机器利用率很低,从而无法充分发挥大数据在生态环境领域的优势。

　　3.2生态环境大数据的集成和分析

　　虽然大数据本身蕴含了大量信息但更多有用的信息并不在于原数据本身,而在于对数据进行深度分析,剖析数据间的统计关系挖掘其中的潜在价值。统计分析是数据处理最常用的技术,通常包括数据描述性分析、相关分析、回归分析、聚类分析以及主成分分析等。除具备数据的一般特性外生态环境数据通常还具有地理空间特征,因此空间分析技术是生态环境大数据的常用分析技术。传统的统计分析技术与大数据相结合对推动生态环境领域的发展起到了举足轻重的作用,各类统计分析软件、地理信息软件等的开发利用对于解决复杂多变的生态环境问题提供了有力的技术支撑。美国环保局联合美国航空航天局利用卫星技术收集空气质量数据,以便更好地确定污染源及污染物排放与变化规律。同时利用商业传感器开发个人空气质量监测系统和能够安装在各种交通工具上的空气污染监测传感器系统。美国环保局联合企业研发力量,通过产学研联合创新推动了大数据的发展。

　　在生态环境大数据的建设方面,IBM、惠普、谷歌、微软等美国IT企业为政府和公众提供了全球最先进的数据库、服务器、搜索服务和存储设备等,帮助政府和研究机构对环境现状及未来趋势做出准确判断。但是国际上跨部门跨行业的大数据平台目前还比较少见,尤其是在生态环境领域。近年来,随着计算机和通信技术的飞速发展,大数据在生物多样性保护领域也得到了广泛应用,很多国家和地区已经或正在建设生物多样性信息管理系统。

　　例如,惠普公司联合非盈利环保组织“保护国际”(ConservationInternational)于2012年共同启动惠普地球观察(HPEarthInsights)项目。通过开发Vertica分析平台,该项目对全球高达3兆兆字节的生物多样性和气候数据进行了系统分析。同时,为了提高生物多样性信息的可视化程度,研发了野生动物图片索引分析系统(WildlifePictureIndexAnalyticsSystem),用户可以通过网络随时随地对该系统进行访问。通用的统计分析技术给大数据平台的信息挖掘提供了有力的手段,但是这些用于数据加工的通用分析软件(如R、SAS、SPASS等)对于解决复杂多变的生态环境问题还远远不够,正是诸多技术瓶颈使生态环境大数据的集成和分析方面相对薄弱。

　　3.3生态环境大数据的应用

　　目前大数据在生态环境领域已得到初步应用,主要体现在全球气候变化预测与区域大气污染治理等方面。大数据技术有助于整合海量庞杂的观测数据及模式数据提高的数据存储速度和管理效率。随着新的气象观测设备的普及与应用,气象观测己经由过去相对少量的常规观测发展到如今海量的非常规观测,观测精度也日益提高。目前气象监测站点已经遍布全球,观测范围从地面到几千米的高空,观测手段从最原始的人工观测到高科技的雷达卫星[13]。与此同时为了真实地模拟全球大气走向大量的模式数据也随之产生,模式系统一般每天计算2—4次,通常在整点开始利用整点前采集到的实况数据进行计算,每次计算要生成大概几百个物理量,包括从开始计算的时刻至未来240h或更长时效的一系列二进制网格数据,预报时效通常间隔3h｡

　　目前气象网格经纬度间距一般在0.25度数量级,一个网格文件大小通常在1—2兆,包含几十万个浮点数值[15]｡谭清海等(2013)针对气候模式在超大规模数值模拟中产生的Tb至Pb量级的四维体数据的可视化和分析诊断方法,提出了基于Server-Client方式的远程数据抽取和并行可视化解决方案[32]｡2015年6月,美国宇航局结合了最新超级计算技术、地球系统模型、工作流管理以及遥感数据的协作及分析平台,发布了从1950年到2100年全球气候变化预测数据,该数据库可以在15km的空间分辨率上测算未来全球各地气温与降水情况的变化。

　　国内方面黄刚等(2010)分析了大气科学数据的特点,同时结合e-Science的大气科学数据再分析平台构建了一套新的大气科学数据的分析和可视化系统,并提出数据处理算法与数据分析系统结合的可行方案[26]。贾韶辉(2013)基于大数据角度研发了集成大数据的信息与专业服务平台,开展了针对中国石油气象与地质灾害的预报预警工作[28]｡2015年5月，中国气象局与阿里云合作,旨在挖掘全球尺度历史观测及预报数据等气象大数据的深层价值。2015年9月，中国科学院大气物理研究所等发布了“地球数值模拟装置”原型系统,该系统是基于中科院地球系统模式1.0版本的高性能计算机系统,填补了中国地球系统模式大数据实践平台的空白。

　　另外,气候变化观测数据包含的信息十分丰富可以发挥出跨行业的服务价值,有可能挖掘出新的信息从而拓展新的业务领域和服务范围。例如美国硅谷一家公司利用多年来的降雨、气温、土壤状况等气象数据与历年农作物产量进行关联分析,预测各地农场来年产量和适宜种植品种,这些结果以个性化保险服务的形式向农户出售,从而减少了气象灾害给当地农户带来的风险及损失。气象大数据应用还可在林业、海洋、气象灾害等方面拓展新的业务领域[25]。

　　3.4目前生态环境大数据研究存在的不足之处

　　虽然生态环境大数据的相关研究已经有了很大进展但仍存在以下几点不足:1)缺乏数据共享。我国的生态环境建设经过多年努力在快速发展的同时产生了大量的数据,可由于数据标准格式和技术路线不统一导致严重的数据割据,形成了“数据孤岛”。数据共享一直是制约大数据发展的突出问题,没有数据共享,就无法形成“大数据”,因此数据共享是开展生态环境大数据建设的前提和基础。2)技术问题。从基础架构讲,传统信息技术架构存在扩展性弱、容错性差、资源利用率低等问题。云计算是解决这些问题的关键,但目前在生态环境领域中云计算技术普遍仅在IaaS层实现硬件资源调配,在市场上少见PaaS和SaaS层的成熟产品和解决方案。在数据采集方面,生态环境大数据除传统的业务数据外还来源于物联网传感器、网络定位、视频影像,以及互联网上的文本、图片等信息。如何将这些多源异构数据转换成合适的格式和类型,并将这些数据应用于环境决策和监管还在探讨之中。

　　在数据存储方面,SQL数据库已不适合用于大规模非结构化数据的存储和处理,大数据所需要配套的分布式数据库与混合型数据库相关技术还有待进一步完善,也需要对相关技术人员进行专业培训。建模分析是大数据的核心技术,如何使用新一代的机器学习和人工智能等模型实现技术应用创新,为不同客户提供个性化服务,是我国生态环境建设面临的重要挑战,同时也正是生态环境大数据的发展机遇。3)应用不足。迄今为止,我国生态环境大数据的创新应用还很有限,大数据的威力远远未能发挥出来,政府综合运用生态环境大数据的能力较低,没有形成成熟的生态环境大数据产业链和有影响力的数据企业。生态环境大数据在气象、水利、国土、农业、林业、交通、社会经济等各部门的应用才刚刚起步,跨领域的应用寥寥无几。如何促进大数据在生态环境领域中的应用创新,使大数据真正成为提高生态环境监管能力现代化的有力手段,是目前世界各国正在探索的课题。

　　4生态环境大数据的发展趋势

　　4.1在数据的搜集与整理方面应建立数据共享机制

　　生态环境问题的解决需要长期的数据积累,对这些长期积累数据进行收集和整理是大数据科学中非常关键的一部分。与生态环境相关的数据众多,大致包括地面监测数据、遥感影像数据、社会经济数据、专项调查数据以及科学研究数据等。由于生态环境的多样性和复杂性,这些数据的来源、监测对象及收集管理均不统一,而是分布在环保、国土、水利、农业、林业、卫生、气象、海洋等多个领域。

　　例如,各类生态环境及污染监测数据,包括污染物排放数据、空气环境质量数据、水环境质量数据及土壤环境质量数据等;各类农业资源、农业生产及农业市场等数据;森林资源清查数据、林业生态工程数据、自然保护区及生物多样性数据等林业数据;土地资源、土地利用、矿产资源开发等数据;水文水资源、水土流失、水利设施等数据;各类地面气象站、气象卫星、气象雷达以及探空等气象数据;海洋生态环境、渔业资源、近海资源开发、滨海湿地保护等海洋数据以及各种环境灾害数据以及与环境相关的人体健康等数据等等。

　　5总结

　　本文结合生态环境大数据目前的研究现状,提出了生态环境大数据未来的发展趋势,而生态环境大数据的发展还需要以下几点保障:完善大数据发展法律法规,制定统一的规范标准体系等体制保障;加强大数据新技术的研发,成立相关科研机构等技术保障;培养一批复合型人才等人才保障;加大生态环境监测设备、计算机等数据处理基础设施投入,设立生态环境大数据建设专项基金,设立生态环境大数据人才培养专项基金等资金保障。目前,生态环境大数据的发展尚在起步阶段,需要人们不断开拓的空间很大,如何高效地处理大数据、合理地利用大数据促进生态环境领域的研究仍需要不断地探索与发现。

　　参考文献

　　[1]ARONOVAE.BigScienceandBigDatainBiology:FromtheInternationalGeophysicalYearthroughtheInternationalBiologicalProgramtotheLongTermEcologicalResearch(LTER)Network,1957–Present[J].HistoricalStudiesintheNaturalSciences,2010,40(2):183–224.

　　[2]BIGANGF,DEANJ,GHEMAWATS,etal.Bigtable:Adistributedstoragesystemforstructureddata[J].ACMTransactionsonComputerSystems(TOCS),2008,26(2):4.

　　[3]CASSANDRALAKSHMANA,MALIKP.Cassandra:adecentralizedstructuredstoragesystem[J].ACMSIGOPSOperatingSystemsReview,2010,44(2):35–40.

　　生态方向论文范文阅读：林业生态环境保护与林业经济发展初探

　　摘要:林业资源的保护是我国林业事业发展的一项重要内容，与人类生活有着广泛的联系。尤其是在当前森林资源比较匮乏的情况下，做好林业资源的保护工作有着现实意义。同时，将林业资源的发展与社会经济发展相互配合，能够共同促进林业资源的整体进步。本文对林业资源的主要功能进行简要概述，提出合理的措施以提高林业资源的环境保护与林业经济发展的共同进步。