关键词:大数据;云计算;数据库建设;影响效应
中图分类号:TP311 文献标识码:A 文章编号:1001-828X(2013)04-0-01
大数据与云计算是信息技术领域近几年来最为流行的两个关键词,依托云计算的大数据革命也正在迅速发展并如火如荼地进行,美国Oracle、IBM、Microsoft、VMware等公司也已纷纷开发了提供数据计算、数据收集和数据编制等服务的全新产品。不仅在商业领域,美国政府也看到了数据在信息科技时代新兴革命中的战略价值和现实意义,奥巴马政府与2012年3月宣布出台“大数据的研究与发展倡议”,旨在改善、重建联邦政府部门的数据收集、数据存储、数据分析和数据应用,提高数据潜在价值的开发与利用,将相关数据库的建设提升到了国际战略层面。回看国内经济管理数据库的成长和发展,也不难发现大数据和云计算的身影。那么,在科技领域新革命的背景下,如何提高海量增长的数据信息处理能力、探寻数据库改革中的新亮点、发现数据信息建设的新趋势,是当下建设好经济管理数据库中的关键。
一、大数据与云计算概述
1、大数据的概念与特点。大数据本身是一个非常抽象的概念,目前还没有一个公认的统一定义,从字面上来看,大数据指的是具有庞大规模的数据群,普遍存在的特点有:(1)数据规模庞大。这种数据规模的庞大已经无法海量或者超载等概念词来描述,而是一种集数据种类、编码方式、数据格式等多维度的数据信息规模化;(2)处理要求极高。由于大数据聚合了多维度的信息特征,所以仍以当前数据信息处理的级别已经无法适应大数据的整体结构,PB级别的数据处理将会成为常态;(3)数据高速持续。由于大数据的高速和持续特点,传统数据库持久储存的方法已经无法满足高速持续异质数据的统一接入和实时处理,所以需要开发新的储存技术。
2、云计算与云存储。云计算通常会和大数据紧密联系在一起,这是因为云计算目前来看,是最好的实时完成大数据发现、挖掘、存储与处理的大型计算技术。所谓云计算,指的是基于互联网的相关服务的产生、使用和交付模式,对于大数据的云计算可以理解为通过互联网或局域网,将数据按需、易扩展的方式,通过虚拟化的过程高速地提供给数据请求者。
云存储则是在云计算概念上延伸和发展的一个新概念,主要指通过集群应用、网络技术或文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合实现协同工作,达成共同对外提供数据存储和访问功能的全新存储系统。
二、经济管理数据的主要分类和大数据特征
1、经济管理类数据的主要分类。根据数据来源可以将经济管理类数据合理地梳理,并大致分为:(1)政府机构和国际性组织公布的经济管理类数据,这类数据主要为宏观信息,比如各国国家统计局、商务部、中央银行等定期公布的经济参考数据。此外还有联合国下属的各分支机构,例如UNtrade、UNIDO分别公布的是国际商品贸易数据和国际工业行业数据,当然还有国际货币基金组织、世界银行等官方组织提供的经济管理类数据。(2)经济管理类数据库提供的相关数据,这类数据包括宏观和微观信息,国内外知名的经济管理类数据库有Bloomberg彭博数据库、WRDS沃顿商学院数据库、Reuters路透数据库、Wind万得资讯金融数据库、中经网统计数据库、CEIC经济数据库等等。这些数据库从不同方面提供了各国家和各行业的宏微观数据。(3)学术机构、民间机构和调查公司提供的经济管理调查数据,这类数据主要为微观信息。比如中国城市与农村经济调查、中国工业企业经济调查、中国住房调查等等。
2、经济管理类数据的大数据特征。从国外经济管理类数据库的发展中,我们可以发现大数据时代的特征正在慢慢显现。首先是数据库供应商的增加,近几年来,国内外成规模化的数据库越来越多,新型的数据平台和数据格式也纷纷涌现,由此所形成的数据收集、数据存储和数据规模的激增也是可以预见的;其次,当前经济管理类数据库的访问模式越来越依赖于云端服务器,为了适应大数据时代的数据新潮流,越来越多的经济类数据库放弃原本采用的本地镜像型的数据访问模式,转而采用服务器访问模型,这也从一方面说明了数据库的大数据特征,因为本地镜像类的服务器已经远远无法满足大规模的数据存储要求,所以出现了这样的转变。
三、大数据与云计算对经济管理数据库建设的作用
1、配置合理的数据库组合。在大数据的时代背景下,由于云计算的技术发展,使得不同数据库所拥有的数据量快速膨胀,从而不同数据库之间形成大量的数据重合,这也可以看成是大数据时代的产物。所以,如何在有限的资源条件下,配置合理的数据库组合,发挥不同数据库各自的特点,更好地服务于访问者的需求,是经济管理类数据库建设的首要问题。
2、高效地利用数据库资源。局域网体系内的虚拟桌面技术和云端存储技术可以更加高效地将原本无法实现充分利用的数据库资源辐射到更大的访问受众中去,实现在某一局域网内部,甚至是校际之间的数据资源的实时共享和实时访问。
3、密切关注数据安全问题。由于大数据的革命性发展,使得现存的数据量显著增长,同时对大数据进行处理的云计算又处在一个相对比较虚拟和宽松的环境,这种新时代的数据处理、数据存储和数据访问革命在为访问者提供更便捷、更高效服务的同时,也对某些关键或机密数据的安全性提出了挑战,所以在大数据和云计算背景下,关注经济管理类数据库中的某些机密数据的安全保护也是数据库建设过程中非常重要的问题之一。
四、结语
数据库的建设与数据技术革命的发展息息相关,每一种新数据技术的出现,都会对数据库的建设提出新的要求。目前,经济管理类数据库的数据来源多样、结构复杂、规模庞大,所以,从数据配置、资源利用和数据安全入手,是大数据和云计算作用背景下经济管理类数据库建设的关键所在。
参考文献:
[1]杨海燕、大数据时代的图书馆服务浅析[J]、图书与情报,2012(04)、
[2]盛斌、大数据时代与银行联盟[J]、中国海关,2012(10)、
关键词:数据;服务;离线处理;并发
随着管理信息系统在行业中的应用日益普及,对基于数据库的管理信息系统的离线使用需求也日益增多,许多业务需要在不能持续联机的情况下使用管理信息系统。这样的需求,需要有C/S模式的桌面应用程序,也要求能够象B/S模式使用那样便捷,这些在传统的B/S或者C/S模式中都很难直接实现。
有两个方法可以解决离线需求:以数据为中心的方法和面向服务的方法。
一、以数据为中心的方法
与服务器上的数据相结合的应用程序使用以数据为中心的方法。本地数据库管理对本地保存的数据所作的更改,然后使用合并复制将这些更改传回服务器。
首先,客户端创建对所需数据的订阅,这样客户端就可以在脱机之前将该数据复制到本地数据存储区中。一旦客户端脱机。它将通过对本地数据存储区的调用,对本地数据进行更改。然后,当客户端重新联机时。数据存储区的合并复制机制将对客户端数据所作的更改传回服务器。对服务器数据所作的更改也可能会传到客户端。在合并阶段遇到的任何冲突,将根据服务器或客户端上指定的冲突解决规则,或根据数据存储区管理员定义的自定义规则来进行处理。
采用Dojo技术实现的Moxie离线编辑器采用的就是这种方法。
二、面向服务的方法
面向服务的方法通过服务请求与网络上的服务进行交互。这些服务可能作为Web服务来实现。或者通过某种其他机制来实现,但是该方法的基本特征是:客户端并没有与它使用的服务紧密结合在一起,客户端和服务是彼此独立的。在此方法中,客户端可以自由地与所需的任何服务进行交互。此外,客户端将重点放在服务请求本身上,而不是放在对本地保存的数据进行直接更改上。服务请求可能会导致客户端或服务器上状态更改,但这些更改只是服务请求的副作用。
以数据为中心的方法,要求在客户端上安装本地数据存储区,这使客户端的部署较为困难,并且客户端对数据存储区架构所作的更改会直接影响客户端查询结果,在线时再使用合并复制将这些更改传回服务器,容易在离线操作时让客户端误以为上传成功,造成信息的及时性得不到保证。再者大多系统要求在网络中传输信息须采用加密方式。也就是说客户端和服务是彼此独立的。因此此时采用面向服务的方法来实现离线处理比较合适。
微软提出的智能客户端在离线处理设计时采用的就是以上面向服务的方法。如果连接是处于在线状态的,利用ADO NET里的DataSet将临时存储的数据暂时保存在内存中,数据在内存中存储只是一个临时过渡,当数据需要经过操作后保存回远程数据库时,使用DataSet的数据适配器DataAdapter将变化的量返回数据库操作。这样既加快了本地的反应又节省了带宽。如果。应用程序在断线的状态下工作,则将数据保存回本地的数据存储结构,待再次连线时。进行处理。
但是这种自动生成SQL语句来更新服务端数据库的方式,不便于SQL语句的加密,而对于某些系统来说,由于信息的敏感性,即便是SQL语句(例如insert语句就包含较多敏感信息)也需要加密处理,因此,这些系统在离线状态,建议采用所有对数据库操作的SQL语句都以文本文件的形式缓存,当恢复在线时,系统首先判断该文件中是否有未成功提交的SQL语句,如果有则依次读取并加密提交。
兰、数据并发异常的解决
此时容易引起多个用户同时更新一条记录产生数据并发异常。这个操作,既可能是其他用户删除了该行记录,也可能是修改了某个字段。这种并发不可避免,在ADO,NET中,通常处理并发冲突的方法有两个,其一是保守式并发处理。该方法使某条记录被读出后就一直被锁定,直到该用户提交更新,这种方式的缺点是在某一用户提交更新前,其他用户要一直等待;其二是开放式并发处理,该方法就是要针对并发异常的出现情况,制定出具体处理方法来解决或者提示用户这种异常的出现。开放式并发处理需要注意以下两个问题。
更新方式的选择:更新方式有缓存更新和立即更新两种。缓存更新,就是使用dataadapter,updte()方法来进行数据的更新,用户可能在datagrid中修改了很多记录,而只进行一次提交,那么这种操作如果从读取数据开始(或上次更新操作)算起所距离的时间越长,也就越容易引起并发冲突。相对来说,立即更新,也就是使用mand,executenoquery()方法。直接来提交对一条记录的修改应该比较快捷。
更新逻辑的选择:所谓更新逻辑就是按照哪种更新的方式来对数据进行更新操作。它可以是包含所有列或部分列,这种更新方式要么导致用户更新失败,要么引起更新覆盖。使数据的一致性得到不到保证。使用集中的时间戳,即在数据库中定义一个集中的时间戳表,用于记录对任何表中的任何行的更新。例如,时间戳表可以显示以下信息:“某时刻张三更新了某表某行”。集中的时间戳适用于签出方案以及脱机客户端方案。
因此,本文作为脱机客户端方案采取开放式并发处理的方法解决数据并发异常。在实际应用中,用try{}catch{}语句返回冲突错误提醒用户。更新方式的选择采用立即更新减少并发冲突,对于离线用户等不可避免的并发冲突,使用集中的时间戳,当用户要修改的信息已被其它用户修改,则提醒用户,用户可以再次请求修改或不修改。
参考文献
[关键词]大数据时代;统计学;专业建设;实践教学
全球知名的麦肯锡咨询公司最早提出了“大数据”的概念,宣告了大数据时代的来临;IBM公司指出了大数据的4个特点:数据体量巨大、数据类型繁多、数据产出速度快、数据价值密度低。[1]大数据对高等学校人才培养的影响表现在以下方面:1、思维方式与认知模式的改变;2、海量的学习对象与辅助教学资源;3、开源课程(慕课,微课、翻转课堂)的教育方式对传统教学模式产生冲击;4、新媒体模式的社会化互助学习打破教学界限;5、网络思维拓展了个体思维。[2]在这个意义上,大数据时代对高校人才培养提出了新的要求。对于统计学专业建设而言,大数据的背景既是一个机遇也是一个挑战。高等学校统计学专业需要通过整合现有人才培养资源、建立创新人才培养平台,承担起大学人才培养的责任,紧随大数据的发展趋势,占领大数据发展人才培养的制高点,体现高等学校满足社会需求、提供智力支撑的载体作用,确保大数据产业科学、健康、持续、高速地发展。本文拟从统计学专业的培养目标出发,研讨在大数据时代统计学专业学生培养各个环节的问题。
一、关于培养目标
统计学专业的培养目标是:培养德、智、体、美全面发展,掌握坚实的数学、统计学基本理论,具备扎实的经济学基础和数据分析技能,能够熟练地运用统计方法和数据分析软件进行数据分析和数据处理,能在企事业单位和经济管理部门从事统计调查、数据分析、风险决策、质量管理等工作,或者在科研单位、高等学校从事统计学研究和教学工作的高级专门人才。本专业学制四年,通过四年的学习,统计学专业的毕业生应具备以下能力:
1、掌握坚实的数学、统计学基本理论。掌握数学、统计学的基本理论、基本知识、基本方法和计算机操作基本技能;具备数据采集、调查问卷设计和数据处理的基本能力;了解与经济统计、生物统计、医学统计或社会统计等有关的自然科学、社会科学某一领域的基本知识,具备利用统计学专业知识,发现、分析、解决某一领域实际问题的基本能力;了解统计学学科的发展前沿及其应用前景。
2、具备扎实的经济学基础和数据分析技能。具备扎实的经济学基础,了解国家经济运行的基本方针、政策、法律、法规;掌握R语言,精通Python、Spark、SAS、SPSS等流行大数据处理软件中的一种,有较强的统计计算能力;掌握资料查询、文献检索及数据获取的基本方法;具有一定的从事科学研究和实际工作的能力;英语达到四级水平,计算机达到二级水平。
二、关于课程设置
1、专业主干课程包括:数学基础部分(数学分析,高等代数与解析几何)、C语言、数据库、概率论与数理统计、统计学、微观经济学、计量经济学、时间序列分析、多元统计分析、市场调查方法与抽样技术、实验设计、统计预测与决策、数据挖掘、随机过程、统计分析软件。
2、充分调研市场需求,在保证基础课程的前提下,灵活设置选修课程,机动调整培养计划及课程设置。
3、对高年级实行模块式分流,包括数据处理、数理金融等防线,并与数据分析师、市场调查师等一些职业资格考试接轨,开设相关选修课。
三、关于师资培养
师资方面,要培养、引进并举,以培养为主。主要立足于现有师资队伍,同时积极引进国内外统计学专业优秀人才,充实、提高教学研究水平。1、努力为教师的成长创造条件,支持和鼓励教师攻读统计学博士学位;积极引进国内外统计学博士。2、加强在职培训提高,深入有效地开展统计学教研活动,教师相互学习,在教学过程中不断学习,促进教师教学科研水平同步提高。3、结合课程教育,以单位进修方式对教师进行短期培训。鼓励教师外出学习,要求每人掌握\精通一门课程或一门外语;通过培训学习最新统计学,数据分析教育理念、方法、技术,提高教师的教学水平,以满足不断变化的教学需要;积极开展科研立项及学术交流活动,积极组织教师申报部级、省级教学改革项目,并积极开展学术交流活动。4、对于实战中比较流行的软件、算法、设备,聘请具备丰富经验的数据分析公司工程师来校为学生授课。
四、关于课堂教学
实践性、动手能力培养贯穿教学始终,除基础课程外,其他课程都在实验室进行教学,学用结合。数据分析语言\软件教学贯穿课程教学,如:1、基于R语言的时间序列分析;2、基于SPSS的多元统计分析;3、高等统计与SAS语言,等等。每门课程完成一个案例报告。
五、关于实践环节
(一)3+1模式
学生前三学年在学校,第四学年在实习单位学习。在实习单位的前四个月,学习数据分析实践技能,以案例教学为主;后8个月在公司、企业接触具体工作。冶金工业过程湖北省系统科学重点实验室、统计学专业实验室、湖北省统计局、武汉市统计局、广发证券等实习实训基地是学生开展实践活动的硬件保障及重要保障。
(二)校内实习
以数据挖掘技术为依托,每年为校内教务处、研究生处、招生就业处、校医院、招投标办公室、后勤等部门出具一份完整、精确的数据分析报告,确实对学校各个部门的决策起到积极作用。以项目形式申报,每年以此类项目作为统计学专业的固定训练题,或专业实践题目。
(三)参加数据分析、数据挖掘
竞赛学科竞赛为创新统计学科人才培养模式,进一步提升大学生调研能力、数据分析能力和处理实际问题能力,促进学校应用型人才的培养,同时为社会实际工作部门和高校人才培养的衔接提供一个良性平台。[5]我们要求统计学专业的学生在读期间都必须参加至少一次数据分析、数据挖掘类竞赛,通过竞赛提高学生分析、解决实际问题的能力,并以此作为创新学分的得分依据。目前学生参加的相关专业竞赛有:
1、全国大学生数据挖掘挑战赛。竞赛由全国大学生数学建模竞赛组织委员会主办,广州泰迪智能科技有限公司承办,广东省工业与应用数学学会、华南师范大学数学科学学院协办。从2015年开始,我们组队参加这一比赛,成绩逐步提高。2015年虽然没有获得很好的成绩,但却锻炼了学生,激励了教师。参加了竞赛的学生,数据分析能力有了明显的长进,论文撰写水平也提高不少。这些学生的本科学位毕业论文内容充实,条理清晰,答辩时胸有成竹,语言流畅。一些学生因为参加过这一赛事,在找工作时增分不少,顺利签下了数据分析师的就业合同。我们教师也从这一赛事中了解了目前数据分析领域的前沿知识,感受到了和兄弟院校的差距,这促使教师积极参加国内数据分析的各种培训,钻研数据分析的最新方法与技术,提高数据分析教学能力。2016年,我校再次组队参加该项赛事,获得国家三等奖两项。
2、中国高校SAS数据分析大赛。这是由SAS中国公司发起的专门针对中国高校数据分析相关专业的一次非营利性的公益大赛。2016年,我校首次组织统计专业本科生、研究生混合组队参加了这一比赛,总共3队参加华中区初赛,1队参加复赛,在比赛中表现良好,最终获得“汇丰杯”2016中国高校SAS数据分析大赛决赛百强,并被授予“大赛优秀组织奖”。
六、就业前景
武汉科技大学从2012年就开始培养统计学研究生,2015年本科也开始招生。实际上,我们从2001年就在信息与计算科学本科专业开设了经济统计模块,2002年就开始招收数理统计方向的研究生,已经有了10届毕业生,这些学生的就业单位有政府统计局、金融行业的证券交易所、保险公司、银行、软件公司、企业里的信息中心、高校等。还有部分优秀学生继续攻读了数理统计、经济统计、随机分析等方向的博士研究生,毕业后在政府部门、高校从事研究工作。我们通过对这些毕业生的社会调查与用人单位的信息反馈,对本专业学生的社会适应能力以及社会需求有了深入的了解。这也为我们做好教学改革工作指明了方向。在大数据时代,培养符合社会需求的统计学人才,这是高等学校的责任和义务。
[参考文献]
[1]陶皖,杨磊、大数据时代对高校人才培养模式的影响-以信息系统专业为例[J]、电脑知识与技术,2013(28):6340-6342、
[2]黄河燕、大数据时代计算机专业教育探讨[J]、计算机学会通讯,2012(12):47-50、
[3]袁卫、机遇与挑战———写在统计学成为一级学科之际[J]、统计研究,2011(11):5-7、
[4]危英,基于数据挖掘的高职会计创业型人才培养研究———以湖南省为例[J]、职教论坛,2016(2):50-54、
关键词 GSM/GPRS;LabVIEW;数据采集;单片机
中图分类号:TP274 文献标识码:A 文章编号:1671—7597(2013)031-066-01
20世纪90年代末,无线传感网络(WSNs)随着WLAN和蓝牙标准的扩展而出现。从简单的文件传输应用开始,无线网络解决方案的发展和完善在许多领域产生了巨大的影响,比如结构健康监测,车辆跟踪系统,工业监控,医学诊断以及环境研究领域。随着对于服务质量(QoS)和安全性的关注,越来越多基于实验系统的生活无线得到部署和研究。当处理需要在一个大的时间周期内所采集到的大量数据时,根据经验,大多数情况下都会考虑到这些问题:存在自我诊断和修复的无线传感网络工具,小型测量节点,同步和功耗。
这些项目的广泛发展是当前关注的问题,这些项目包括城市停车场,电厂监控,监控短讯参数是否超出了限定额度,SMTP发送电子邮件或健康状况的监测。仪器仪表公司为手持设备和智能手机的移动解决方案发展提供软件和硬件相结合的套件。
基于WSN解决方案的相关知识,我们工作的目标是开发一个基于GSM/GPRS的实时远程采集和分析系统,这个系统将会使手机控制的成为可能。此外,我们开发了一个在计算机上运行并且能够操作这个系统的LabVIEW程序。
Wen等人描述了一个有趣的医学上的应用,这个应用就是监测心电图信号,并且在自动检测到心脏畸形时发送短信到授权手机。Collins等人提出了一种远程监控温室气体(CO2和CH4)的系统。该系统是由电池供电的,并使用短消息服务(SMS)将记录的数据发送到一个基础站。数据存储在闪存存储器中备份。网络可视化程序允许授权用户查看记录的数据。Aziz等人提出了一个监测温度和湿度参数的解决参数,这个方案使用SMS对记录的数据进行传输。这个系统能够比较存储值与标准限额,并采用短信的方式将警告发送到指定的手机上。
在提出的仪器中,传感器的电压变化在实际采集后的几秒内便会被远程采样并发送到Web服务器。为了实现这个目标,我们采用了Cinterion公的MC55iT GSM/GPRS终端和德州仪器的MSP430F2274微控制器。这种方法也在其他应用程序运用。手机的用来接收短讯,包括警告和具有一定格式的记录数据。我们的系统使用手机作为短信警告的终端。这是因为如果使用的SMS格式的数据,延迟和数据损失可能会影响系统的性能。此外,手机可以用来访问Web服务器的数据,以图形方式显示分析结果和控制传输系统。
对于这个特定的应用程序,我们考虑了动态变化缓慢的输入电压值。两个模拟量的同步采样信号每30秒传输一次。在处理温度,深度,污染或应变测量时,可以成功地应用这种类型的系统。这种系统不能用于短时间内需要收集大量数据的应用。例如,在结构振动分析中,使用几千赫兹的采样率,这意味这样大量的数据将被发送到服务器。当使用GPRS时,一个常用的方法是压缩采样数据,然后打包发送到服务器。使用这些采样数据才程序需要先对这些数据进行解码。
可以成功运用文中所提出系统的应用是对农村地区的水井进行水质监测。测量二氯化磷,铜,砷,硝酸盐和亚硝酸盐等成分浓度的传感器可以连接到系统的输入。通过对记录数据的分析能够得出污染物对水质的影响。
1 硬件组件说明
我们使用了两个重要的硬件组件,Cinterion公司的MC55iT终端和MSP430F2274微控制器。Cinterion公司MC55iT终端提供音频,信号和数据所需要的所有进程。内部软件处理所有GSM例程。它需要一个8 V-30 V的电源供电,操作人员可以使用Windows上的超级终端程序对它进行操作。这个程序也使用了GPRS的终端功能。使用这种类型的模块的优点是所有的连接都可以集中在一个即插即用的壳体内。接口和一个集成SIM卡持有人使该器件成为数据传输的可靠解决方案。该系统运用了GSM网络运营商提供的GPRS和SMS(无语音)服务。
2 软件组件说明
该传输系统的软件组件有:
基于IAR Embedded Workbench for开发的MSP430F2274单片机程序。MSP430。单片机作为整个系统的CPU,同时运行程序,其中包括AT命令。
基于LABVIEW 2009图形化编程语言,DataBase Connectivity Toolkit和JKI State Machine Addon开发的远程用户PC应用程序。
基于PHP 5、3、5和MySQL 5、1、54开发的远程手机应用程序。该程序的手机用户界面也应用了AmCharts设计的线式闪图。
3 结论
我们已经提出了设计和实施了基于GSM/GPRS的数据采集和传输的系统,在此系统中执行了电压的测量。当与其他使用GSM网络的方式相比时,已经提出的实验系统的好处就是使用移动电话或PC的LabVIEW应用发送远程控制的可能性。这套传输系统有许多潜在的用途。各种传感器可以连接作为输入。对于这个特别的项目,将用于增强的传输系统中的太阳能电池面板。另一个未来的发展是整合成一个单一的测量系统,可以让手机控制和改进的图形结果显示的几种GPRS终端。该系统也可以被集成到特定的应用程序中,用来监测罗马尼亚的农村地区水质。
参考文献
[1]C、Wen,M、F、Yeh,K、C、Chang,R、G、Lee,Real-time ECG telemonitoring system design with mobile phone platform, Measurement 41(2008)463-470、
[2]F、 Collins, D、 Orpen, D、 Maher, J、 Cleary, C、 Fay, D、 Diamond, Distributed chemical sensor networks for environmental sensing, sensordevices, in: The Second International Conference on Sensor Device Technologies and Applications, 2011:58-62、
[3]I、A、 Aziz, M、 Hasan, M、 Ismail, M、 Mehat, N、S、 Haron, Remote monitoring in agricultural greenhouse using wireless sensor and short message service, International Journal of Engineering and Technology, IJET 9 (2009):1-11、
关键词:关系型数据库;表结构;信息管理系统;分析
中图分类号:TP315文献标识码:A文章编号:1009-3044(2008)28-0042-02
Design and Analysis of Database About Data Information
ZHUANG Jia-liu1, HONG Ying2
(1、Colleage of Software Engineering, Tongji University, Shanghai 210096;2、School of Art and design, University of Mining & Technology of China, Xuzhou 221006, China)
Abstract:The relational database system is widely used and has bee one of major database system among those management information systems、 This paper introduces two methods used inthe Management System of Advertisement ,which are ways to design table structure for the advertisement order informationrelatedwith the date in the relational database system ,and analyzes their advantages and disadvantages、 According to parison, the system can select proper information in the process of design ,development and operation ,and then the information can be used efficiently and properly to improve the optimun design and the operation efficiency of the system、
Key words: relation database; structure of table; management information system; analysis
数据库技术是现代信息科学与计算机技术的重要组成部分,是计算机数据处理与信息管理系统的核心,数据库技术研究解决了计算机信息处理过程中有效地组织和存储大量数据的问题。计算机技术和数据库的发展,使得管理信息系统在各行各业的使用越来越广泛,极大地提高了管理的手段和工作效率。
信息管理系统是数据库技术的发展而产生的重要领域并得到广泛应用。在整个信息管理系统的规划、设计、实施过程中,用户数据库的设计不仅仅是整个系统设计中的核心之一,更是不可缺少的重要环节。数据库设计是指对于一个给定的应用环境,构造一个最优的数据库模式,建立数据库及其应用系统,使之能有效的存储数据,满足用户的应用需求。
在用户数据库中表结构设计的好坏不仅仅直接影响到应用系统数据库中数据的冗余程度、软件系统的可扩展性、系统访问数据库的频次、客户软件运行速度等方面,更进一步影响整个应用软件的执行效率。因此,在软件系统设计的过程中,数据库设计有着举足轻重的作用。
在信息管理系统研制、设计及开发应用过程中,有些管理系统会涉及到与日期信息有关的数据信息,例如:在电视台广告管理系统中客户的广告订单信息、每天广告的播出信息等。这些信息都涉及到与日期有关的信息,至少要包含合同编号、广告名称、版本、长度、播出日期等信息,相应的数据库中的广告订单表、广告播出表就是存储这些具体的播出信息,决定了广告的具体播出日期播出段位,进而决定了广告的播出编排。因此,在广告播出表和订单排期表中存在着与日期有关的播出信息,这些信息与日期有着紧密的关联,但日期信息的安排是根据客户的要求而定,具有随意性,无任何排列规律。
下面就以广告管理系统中的订单排期表的存贮为例,介绍两种数据库表结构的设计方法及其比较分析。
1 日期有关播出信息的表设计
1、1 以月为存储记录的表设计方法
以月为存储记录设计的订单排期表结构具体如表1。
其中年份、月份,分别代表广告播出日期的年、月,而日期字段的31位字符分别代表每月最多的31天的播出信息,例如:1月使用1-31位,2月使用1-28天、4月使用30位等,依次类推,日期字段的第N位字符表示相应日期是否播出,如“1”表示播出,而“0”或空格则表示该日期没有播出该广告。系统用一条记录存储了一个时段广告一个月的播出信息。
1、2 以日为存储记录的表设计方法
以日为存储单位记录设计的订单排期表结构具体如表2。
其中日期字段为日期型数值,对应的值表示广告播出的实际日期,广告在每一天的某时段的实际播出信息相应地产生一条播出信息。系统用若干记录表示某时段广告一个月的播出次数等信息。例如:某广告在某月某时段播出25次,系统则存储25条表记录。
2 数据存储的冗余分析
数据库中的数据冗余一般用于提高系统的性能和增强系统的容错性,并且一般说来,冗余会增加开发的复杂度和系统开销。数据冗余要有明确的目的,不能贪图一时之便,否则系统开发和维护带来的可能是麻烦。数据库设计的第三范式是一个正确的准则,根据实际情况有时可以违背,但是一定要有一个更加强的准则作为支持。
通过上述两种表结构的设计方法可以明显看出,以日为存储记录的设计方法中,每日广告播出信息所产生的记录内容:合同编号、广告名称、版本、长度等字段都是重复存贮,存在着较大的数据冗余。而以月为存储记录的设计方法每个月只记录一次合同编号、广告名称、版本、长度等信息。
对于一个广告的播出信息来讲,存在两种极端的播出情形,一种是一个月中每天都有播出计划,使用上述两种表结构的设计方法则分别产生1个和31(小月为30,2月为28或29)个记录;另一种极端情形是每月只播出一天,那么,使用上述两种表结构的设计方法都只产生1个播出记录。
根据对实际应用中的数据库里播出信息的分析,并将某一个时间范围内的所有播出信息经过转换,成为上述2种表结构的数据库表后,经过比较得出:以日为存储记录的表中有20167个记录,占用了1737KB的磁盘空间,而以月为存储记录的表只有1192个记录,仅占用了137KB的磁盘空间,表中记录数目的比例为16、92:1, 表占用磁盘空间的比例为12、66:1。
显而易见,以月为存储记录的数据表不仅仅使记录数目大大减少,还占用了更少的存储空间,在减少数据冗余方面有着明显的优势。
3 数据查询操作比较
广告管理系统的任务就是对输入的各种广告订单、播出信息进行检索、统计,用于每天的串编表输出以及各种数据的统计分析结果以报表的形式输出。这些工作需要大量的对数据库的查询操作。因此,数据库表结构的设计还影响到系统软件的编码和程序执行效率。
两种表结构的设计方法在数据库查询的具体操作上存在着很大的不同。
以日为存储记录的表的查询方法比较简单,只需要通过简单的查询命令可以实现。例如,要查询2008年5月1日播出的所有广告的信息,可使用如下代码:
select * from 订单排期表 where 日期='2008-5-1'
要查询2008年5月1日至5月31日期间播出的所有广告的信息,可使用如下代码:
select * from 订单排期表 where 日期>='2008-5-1' and日期
而以月为存储记录的表的查询方法比较复杂,例如,要查询2008年5月1日播出的所有广告的信息,可使用如下代码:
select * from 订单排期表 where 月=’5’and substring(日期,1,1)='1'
而要查询某一特定日期区间的广告播出信息则查询代码比较复杂,有的甚至需要一大段代码和组合查询共同进行,才能完成复杂的查询任务。其代码执行效率不及日为存储记录的设计方法的数据表。
然而,以月为存储记录的表的查询效率在有些情况下并不因其查询代码复杂而低下,因为它所查询的表中的记录数量少,弥补了查询语句复杂这一不足,对于一些不复杂的查询,它的查询速度有时仍优于以日为存储记录的表的查询。而对于复杂的查询,则需视复杂程度和具体查询算法而定。
4 总结
对于一个基于数据库的管理系统来说,在系统设计,不仅要从物理结构进行评价,对访问数据库的时间效率、数据库存贮的空间效率、数据冗余程度、查询代码复杂性、系统处理速度、系统的维护开销和各种用户的需求等诸多因素进行权衡、评价。
上述与日期有关信息表结构的两种设计方法,从不同的出发点来看各有优缺点,前者以月为存储记录的表有很少的数据冗余,但查询方法复杂;而以日为存储记录的表则有很高的数据冗余,但是查询代码简单,降低了系统代码的编写工作量。开发人员可根据管理系统的实际情况找到合适的平衡点,从中选择最优设计方案,使软件系统能够高效、稳定、正确地运行。
参考文献:
[1] 姜力,高群、SQL Server数据库设计与管理、北京大学出版社、中国林业出版社、2006、8、
[2] 李真文、SQL Server2000 Developer’sGuide开发人员指南、北京希望出版社、2001、1、
[3] 萨师煊, 王珊、数据库系统概论、高等教育出版社、2000、2、
关键词:电力谐波;电力电子设备;数据采集系统
电网谐波来源
1、电源质量不高产生谐波:发电机由于三相绕组在制作上很难做到绝对对称,铁心也很难做到绝对均匀一致和其他一些原因,电源多少也会产生一些谐波,但一般来说很少。
2、输配电系统产生谐波:输配电系统中主要是电力变压器产生谐波,由于变压器铁心的饱和,磁化曲线的非线性,加上设计变压器时考虑经济性,其工作磁密选择在磁化曲线的近饱和段上,这样就使得磁化电流呈尖顶波形,因而含有奇次谐波。它的大小与磁路的结构形式、铁心的饱和程度有关。铁心的饱和程度越高,变压器工作点偏离线性越远,谐波电流也就越大,其中3次谐波电流可达额定电流0、5%。
二、谐波研究的意义
谐波的危害十分严重。谐波使电能的生产、传输和利用的效率降低,使电气设备过热、产生振动和噪声,并使绝缘老化,使用寿命缩短,甚至发生故障或烧毁。谐波可引起电力系统局部并联谐振或串联谐振,使谐波含量放大,造成电容器等设备烧毁。谐波还会引起继电保护和自动装置误动作,使电能计量出现混乱。对于电力系统外部,谐波对通信设备和电子设备会产生严重干扰。
三、电力系统中谐波的来源
电力系统中的谐波来自电气设备,也就是说来自发电设备和用电设备。由于发电机的转子产生的磁场不可能是完善的正弦波,因此发电机发出的电压波形不可能是一点不失真的正弦波。目前我国应用的发电机有两大类:隐极机和凸极机。隐极机多用于汽轮发电机,凸极机多用于水轮发电机。
对于谐波分量而言,隐极机优于凸极机,但随着科技进步,可控硅、IGBT等电子励磁装置的投入,使发电机的谐波分量有所上升。当发电机的端电压高于额定电压的10%以上时,由于电机的磁饱和,会使电压的三次谐波明显增加。同样在变压器的电源侧电压超过额定电压10%以上时,也会使二次侧电压的三次谐波明显增加。由于电网电压偏移在±7%以下,所以发电、变电设备产生的谐波分量都比较小,比国家的考核标准低的多,因此发电、变电设备不是影响电网电压波形方面质量的主要矛盾。
为此,影响电网电压波形质量的主要矛盾是非线性用电设备,也就是说非线性用电设备是主要的谐波源,非线性用电设备主要有以下四大类:
1、电弧加热设备:如电弧炉、电焊机等。
2、交流整流的直流用电设备:如电力机车、电解、电镀等。
3、交流整流再逆变用电设备:如变频调速、变频空调等。
4、开关电源设备:如中频炉、彩色电视机、电脑、电子整流器等。
这些用电设备都是非线性用电设备,但它们产生的谐波各不相同,具体举例分析如下:
电弧加热设备是由于电弧在70伏以上才会起弧,才会有弧电流,并且灭弧电压略低于起弧电压,造成弧电流与弧电压的非线性。
此外,弧电流的波形还有一定的非对称性。正是由于弧电流是非正弦波,造成电弧加热设备对电网的谐波污染比较大,而且多为18次以下的低次谐波污染。其实电焊机在上世纪四、五十年代已广泛应用。由于当时电弧加热设备量少,电焊机应用的同时率就更小了,对整个电网的影响比较小,但在当时已发现在烧电焊时,局部低压电网的电压和电流变化很大,有较大的谐波影响。
交流整流直流用电设备的谐波产生的原因是由于整流设备有一个阀电压,在小于阀电压时,电流为零。这类用电设备为了提供平稳的直流电源,在整流设备中加入了储能元件(滤波电容和滤波电感),从而使阀电压提高,加激了谐波的产生量。为了控制直流用电设备的电压和电流,在整流设备中应用了可控硅,这使得该类设备的谐波污染更严重,而且谐波的次数比较低。
四、谐波现状浅析
通过对市场的常用电器的谐波状况的测试,我们了解到目前我国内工业企业的谐波污染十分严重,尤其是早些年为了节能,引入的变频电源和直流用电器的投入,其5次、7次、11次谐波电流的含量分别占基波的20%、11%、6%,这对于小功率的用户而言,还不怎样,但对于大功率的用户来说,危害就很大了,对于中频炉用户,它用常规的无功补偿就无法进行,有的用户用常规的电容器无功补偿,无法投入电容器,有的即便投入了,也对5次谐波电流放大了1、8~3、8倍以上,使得电动机、变压器等用电器的铜损、铁损大大地增加,缩短了设备的使用寿命,多交了电费。
五、目前国内对谐波污染的治理
(一)谐波的治理主要采用无源滤波装置和有源滤波器。
1、无源滤波装置。主要采用LC回路,并联于系统中,LC回路的设定,只能针对于某一次谐波,即针对于某一个频率为低阻抗,使得该频率流经为其设定的LC回路,达到消除(滤除)某一频率的谐波的目的。LC回路在滤除谐波的同时,在基波对系统进行无功补偿。这种滤波装置简单,成本低,但不能滤除干净。其主要元件为投切开关、电容器、电抗器以及保护和控制回路。
2、有源电力滤波器。这种滤波器是用电力电子元件产生一个大小相等,但方向相反的谐波电流,用以抵销网络中的谐波电流,这种装置的主要元件是大功率电力电子器件,成本高,在其额定功率范围内,原则上能全部滤除干净。
(二)谐波治理的方法
前常用的谐波治理的方法无外乎有二种,无源滤波和有源滤波。下面就谈谈这二种方法的优缺点以及市场前景及其经济效益的分析。
1、无源谐波滤除装置。无源滤波的主要结构是用电抗器与电容器串联起来,组成LC串联回路,并联于系统中,LC回路的谐振频率设定在需要滤除的谐波频率上,例如5次、7次、11次谐振点上,达到滤除这3次谐波的目的。其成本低,但滤波效果不太好,如果谐振频率设定得不好,会与系统产生谐振。现在,市场上流通较多的采取的滤波方法就是这一种,主要是因为低成本,用户容易接受。虽滤波的效果较差,只要满足国家对谐波的限制标准和电力部门对无功的要求就行了。由于其低成本,市场的需求也就大,一般而言,低压0、4KV系统大多数采用无源滤波方式,高压10KV几乎都是采用这种方式对谐波进行治理。由于我国的中小企业大多数是私有的,业主对谐波的危害认识不足,一般不愿意拿出大量的经费来治理谐波,而有的企业由于谐波的含量太大,常规的无功补偿不能凑效,供电部门对无功的要求又是十分严格的,达不到就要罚款。因此,业主不得不要求滤波。因而,其市场的前景可观,经济效益也就可观了。
2、有源谐波滤除装置。有源谐波滤除装置是在无源滤波的基础上发展起来的,它的滤波效果好,在其额定的无功功率范围内,滤波效果是百分之百的。它主要是由电力电子元件组成电路,使之产生一个和系统的谐波同频率、同幅度,但相位相反的谐波电流与系统中的谐波电流抵消。但由于受到电力电子元件耐压,额定电流的发展限制,成本极高,其制作也较之无源滤波装置复杂得多,成本也就高得多了。其主要的应用范围是计算机控制系统的供电系统,尤其是写字楼的供电系统,工厂的计算机控制供电系统。对单台的装置而言,其利润是可观的,但用户一般不愿意用有源滤波,对于谐波的含量,不必滤得太干净,只要不危害其他用电器也就可以了。
参考文献
[1] 吴竟昌、供电系统谐波[M]、北京:中国电力出版社,2008:35-47
[2] 马明建、数据采集与处理技术[M]、西安:西安交通大学出版社,2009
[3] 谐波国家标准起草工作组《电能质量公用电网谐波》GB/T14549、2009
[4] 李念强魏长智潘建军张羽,数据采集技术与系统设计[M],北京:机械工业出版社2009
[5] 张直平李芬辰,城市电网谐波手册[M],北京:中国电力出版社2011
[6] 关彬,低压电力系统谐波检测方法研究[D],北京化工大学,2008
声卡是一个非常优秀的音频信号采集系统,其数字信号处理器包括模数转换器(adc) 和数模转换器(dac) ,adc 用于采集音频信号,dac用于重现这些数字声音,转换率达到44、1khz。声卡已成为多媒体计算机的一个标准配置,利用声卡进行采样与输出,就不需要购买专门的采集卡可以降低虚拟仪器的开发成本,且在音频范围内可以完全满足实验要求。
3、3 matlab在数据采集中的应用
数据采集工具箱集成于matlab中,所以在进行数据采集的同时,可以对采集的数据进行实时分析,或者存储后再进行处理,或者针对数据分析的需要对测试条件的设立进行不断的更新。应用数据采集工具箱提供的命令和函数可以控制任何类型的数据采集。例如,在硬件设备运行时,可以获取事件信息,评估采集状态,定义触发器和回访状态,预览数据以及进行实时分析,可以设置和显示所有的硬件特性以满足用户的技术指标。
4系统设计方案
声音信号的采集与分析处理在工程应用中是经常需要解决的问题,如何实时采集声音信号并对其分析处理,从而找出声音信号的特征在科学研究中是一项非常有意义的工作。
声卡是多媒体计算机系统中最基本、最常用的硬件之一,其技术发展已经成熟,它具有ad/da转换功能,现已被广泛应用于声音信号采集和虚拟仪器系统的设计。matlab则是一种功能强大、计算效率高、交互性好的数学计算和可视化计算机高级语言,它将数值分析、信号采集与处理和图形显示有机地融为一体,形成了一个极其方便、用户界面友好的操作环境。本文所设计的声音信号采集与分析系统就是充分利用了声卡的ad/da转换功能和matlab强大的数据处理功能,同时,该系统还是建立在matlab软件的图形界面实现的,因而使系统具有良好的交互性。
基于计算机声卡的数据采集系统有以下特点:
(1)价格低廉。在数据采集时,所要采用的是模数转换芯片,对于某些应用场合,可以利用计算机上所附带的声卡实现数据采集任务。
(2)灵活性强。用户不仅可以进行实时监视和控制操作,还可以把数据保存到硬盘,供以后分析使用。在cpu足够快的条件下,还可以实时处理数据,动态显示波形的频谱、功率谱。另外在一台计算机上,可以插若干块声卡,组成多通道数据采集系统。
(3)频率范围较窄,不能测直流。由于受声卡的硬件限制,要得到较好的波形,输入信号的频率最好在100hz~15khz范围内。
总之,运用廉价的声卡,构成一个较高的采样精度,中等采样频率,且具有很大灵活性的数据采集系统,对于一些应用领域是一种很好的选择。
4、1 系统结构设计
matlab提供了一个数据采集工具箱(data acquisition toolbox),在该数据采集工具箱中,有一整套的命令和函数,可用来直接控制与pc机兼容的数据采集设备进行数据采集,因此,利用matlab的这一工具箱便可进行声音信号的采集。然后在matlab中直接调用频谱分析函数、功率谱分析函数或数值分析函数等,就可以将采集到的声音信号分别进行频谱、功率谱分析等多种谱分析。因此,在matlab中可以很容易地实现信号采集与分析处理工作。
图4-1系统实现的总体框图
从系统框图上看,整个系统结构简单,而且数据的后续分析方便,不需要再进行数据转移,而直接在matlab软件中完成分析处理工作。在该系统中,从硬件上来讲,只需必要的信号预处理电路和一台普通的多媒体计算机(或笔记本电脑)即可;从软件上来讲,则只需使用本文中所编制的程序,便可从声卡获取数据并保存为文件,然后再可根据实际需要进行数据分析处理。
4、2 系统功能设计
本系统由数据采集和数据分析两大部分组成,数据采集部分是实现信号采集功能,根据用户选择的采样频率和预设的采样样本数从声卡获得用户需要的数据。数据分析部分主要实现以下功能:(1)从信号采集部分获取数据,或者从数据文件读取数据;(2)实现将采集到的声音信号数据进行频谱分析,画出频谱图以图形方式很直观地反映出信号特征;(3)保存数据,包括保存所有数据和部分数据的功能,同时保存对应的频谱数据;(4)显示声音信号数据的时域图和频谱图;(5)其他功能。根据不同的需要,还可以进行修改,以选择合适的实验方案。
4、3 系统设计实现
声音信号采集功能的实现是由matlab控制计算机声卡将传感器得到的模拟信号转换为数字信号并存储在计算机中;而信号分析功能是将采集得到的数据进行时、频域分析和各项数值分析等。整个系统设计主要包括系统的硬件配置、编制程序实现数据采集、编制程序实现数据分析及系统的界面设计四部分。
4、3、1 声音信号采集的硬件配置
将声卡插入计算机的pci插槽,安装好相应的驱动程序后,将声音传感器设备与声卡的模拟输入端连接起来,这就构建了声音采集的硬件设备,需要注意的是对声音传感器的选择,应选择音频专用电缆或屏蔽电缆以减小噪声信号的引入,最好能选择单向性声音传感器。在matlab的信号采集工具箱中有专门为声卡生成一个操作对象的函数,初始化该操作对象即能建立matlab与声卡的通信,并为已创建的声卡设备对象增加数据采集通道和触发方式。若缺省设置则系统采用一个数据通道、手动触发方式启动工作。进行数据采集时,根据所配置的声卡的工作特性和信号分析的设计要求,可设置相应的参数来控制声卡在数据采集时的行为,如采样频率、采样时间、预计模拟信号的输入/输出范围、采样的出发方式,采样点数据的存储等。另外需要注意的一点是采样频率是由声卡的物理特性决定的,实际应用中可以根据情况选择一个声卡支持的采样频率、matlab支持电平触发、事件触发和手动触发三种方式来启动数据采集工作。声音信号采集硬件配置的具体实现过程:
sound=analoginput(‘winsound’);% ‘winsound’为声卡的驱动程序
channel=addchannel(sound,1);% 添加通道为单声道
set(sound, ‘samplerate’,44100);% 设置采样频率为44100hz
set(sound, ‘samplespertrigger’,22050);% 设置采样时间为0、5s
set(sound, ‘triggertype’, ‘manual’);% 设置触发方式为手工触发
、、、% 其它的相关设置
4、3、2 数据采集
启动设备对象,控制声卡开始采集数据,采集过程中可以向声卡发送控制命令,如暂停采集、退出采集等。采集到的数据被暂时存放在计算机的内存中,理论上可采集的最大数据量是由计算机的内存量所决定的。同时, matlab能够记录采集设备的硬件属性、采集的启动时刻、采集时间、采样频率及采样通道等信息,如果采集过程中出现了错误,则出错的时刻、错误产生的来源等信息也都会被记录下来供后续工作参考。需要注意的是,执行完一次数据采集工作后应删除设备对象,将内存中的数据存储在硬盘上之后释放数据存储所占用的内存空间,以备下一次采集能有足够的内存空间存储新的数据,声音信号采集的实现程序为:
start(sound);% 启动设备对象
try
time=0;data=0;
[data,time]=getdata(sound);% 获取采样数据
catch
time=0;data=0;disp(‘a timeout occurred’);
end
stop(sound);% 停止设备对象
delete(sound);% 删除设备对象
4、3、3 数据分析
在设计该部分时,不仅要求实现能从数据采集部分直接获取数据,还需实现能从文件中读取以前所保持好的数据。之后,用户可以根据实际研究的需要,在matlab中调用频谱分析函数(periodogram等)、功率谱分析函数(psd等)或数值分析函数(fminbnd等),就可以将采集到的声音信号分别进行频谱、功率谱分析等多种谱分析,并且可方便地将分析结果以图形的形式显示出来,如图4-2所示。在研究蛋壳破损自动检测过程中,通过对所采集的蛋壳声音信号进行频谱分析,找出区分损壳蛋与好壳蛋的特征变量,从而实现蛋壳破损的自动检测。对所采集的声音信号进行频谱分析的程序为:
、、、% 获取采样数据
px=abs(fft(data,512)) 2/512;% 对所采集的数据进行傅立叶变换
px=px(1:256);
s=60+10*log10(px);
、、、% 其它功能
图4-2 声音信号的采集与频谱分析
4、3、4 系统界面设计
利用matlab软件中gui模块进行设计,在matlab中可以方便地设计出基于对话框的图形用户界面,它提供了诸如编辑框、按钮、滚动条等图形对象,通过对这些图形对象的有机组合,再对相应的图形对象编写程序,就可以设计出界面友好、操作方便的系统软件。图4-2所示为声音信号采集与频谱分析系统的运行界面,还可再根据实际需要进行扩展。
建立基于声卡和matlab的信号采集与分析系统,能够实现信号采集、设备控制、数据分析以及结果显示等功能。实践证明该系统具有精度高、实时性好、性价比高、人机界面友好、升级修改简单等优点。在进行项目研究过程中,常常需要进行多次实验,采集大量的数据,并且要求对数据能实时地进行分析处理,该系统能很好地满足这种研究需要。此外,这一系统还可以扩展应用到其他相关的领域中,如在语音识别工作中可以用该系统采集语音信号并且加入语音处理的相关分析等。因此,该系统不仅具有良好的实用性,还可为其他的相关研究提供理论和应用基础。
语音信号分析处理系统一般由声电传感器(麦克风) 、数据采集卡、处理器(计算机) 、软件系统等几部分组成。商品数据采集卡(a/ d 板) 都包含了完整的数据采集电路和计算机接口电路,并同时提供驱动程序,产品和种类繁多,性能价格各异,价格一般都比较贵。pc 机的声卡本身就是一个廉价同时又非常优秀的语音信号采集系统,它采用直接内存读取方式传输数据,极大地降低了cpu 的占用率;不仅如此,声卡16 位的a/ d 转换精度比普通16 位a/ d 卡要高,能够满足语音信号采集分析要求。
5 应用设计
一、 对声卡产生的模拟输入对象(ai) 进行操作
声卡是matlab数据采集工具箱所支持的一种硬件,用声卡完成一个简单的数据采集过程,麦克风就成了数据采集系统中的传感器、
1)创建设备对象,这里创建的是一个声卡ai设备对象,硬件设备标示符为2、
ai=analoginput(‘winsound’,2);
2)给设备对象添加通道,这里添加1个通道、
addchannel(ai,1);
3)设定设备属性值,控制数据采集、
freq=8 000; \采样频率8 000 hz
set(ai,samplerate、freq)
duration=2; \采样时间2 s
set(ai,samplespertrigger,duration*freq);
4)数据采集及结果处理、在这里首先将所采集到的数据进行快速傅立叶变换,然后转化成分贝,并显示结果的实数部分、
start(ai);
data=getdata(ai);
fftdata= abs(fft(data));
mag =20*logl0(fftdata);
mag= mag(1:end/2);
5)清除内存中的设备对象、
delete(ai);
clear ai;
图5-1 采样过程中没有对麦克风讲话
图5-2 采样过程中对麦克风讲话
结果分析:图5-1是在采样过程中打开麦克风,但是没有对麦克风讲话的结果(对不同品牌、质量的声卡,结果可能有所不同),图5-2是在采样的过程中对麦克风讲话的结果、可以看出,讲话与否(传感器感受端的变化)改变了所采集到的数据的结果、
二、 直接利用matlab数据采集箱中提供的函数命令进行采集
一般的采样过程是对声卡产生的模拟输入对象(ai) 进行操作的,由于计算机配置和模拟通道的运用使得数据采集过程显得烦琐难以理解,有时还不易获得采样数据。实验过程发现一种更为简单实用的方法可以进行数据采集。在阐述之前,首先介绍一下matlab数据采集箱中的几条有关命令:
wavrecord : wavrecord 利用windows 音频输入设备记录声音,其调用形式为:wavrecord (n ,fs ,ch) 。利用windows音频输入设备记录n个音频采样, 频率为fs hz ,通道数为ch。采样值返回到一个大小为n*ch 的矩阵中。缺省时,fs = 11025 ,ch = 1。
waveplay: waveplay 利用windows音频输出设备播放声音,其调用形为:waveplay(y ,fs) 。以采样频率fs向windows 音频设备发送向量信号。标准的音频采样率有:8000、11025、22050 和44100hz。
wavread :wavread 用于读取microsoft 的扩展名为“、wav”的声音文件。其调用形式为: y = wavread (file) 。其作用是从字符串file 所指的文件路径读取wave 文件,将读取的采样数据送到y 中。y的取值范围: [ -1 ,1 ] 。
sound:音频信号是以向量的形式表示声音采样的。sound 函数用于将向量转换为声音,其调用形式为:sound (y ,fs) ,作用是向扬声器送出向量y 中的音频信号(采样频率为fs) 。
应用上述所讲到的matlab数据采集箱提供的函数进行一次简单的语音信号的采集实验。记录5 秒钟的8 位音频语音信号并回放之, 采样频率设为11025hz。
??fs = 11025 ; \ 设置采样频率
??y1 = wavrecord (5*fs ,fs ,‘uint8’) ; \ 进行无语音采集
??plot (y1) ;
??y2 =wavrecord (5*fs ,fs ,‘uint8’) ; \ 开始采集8位语音信号,时间为5s
??plot (y2) ;
??wavplay(y2 ,fs) ; \ 回放所采集的语音
??sound (y2 ,fs) ;
??y1 =fft (y2) ; \ 做信号的fft 变换
??plot (y2) ;
图5-3 无声音信号输入波形
图5-4 有声音信号输入波形
图5-5 声音信号傅里叶变换
图形分析:用户可以变换采样频率及采样时间,也可以不同的频率回放语音。感受不同函数在相同的频率下回放的语音信号是否一致。此例进行的是实时回放,若要事后回放则可用wavread 函数。从程序语言及实现上可看出此方法简便了许多,而且实验结果与传统方法得到的实验结果完全一致。图5-3为在采样过程中打开麦克风,但是没有对麦克风讲话的结果(对不同品牌、质量的声卡,结果可能不同) ,从图上可以看到除开始采样的极短一段时间内有个信号接收过程产生阶跃外,其余时间内波形都在很小的范围内平稳的波动。图5-4是采样过程中对麦克风讲话的结果,可以看出,讲话(传感器端接收到信号)改变了采集的数据的结果。从图5-4中看出波形发生了很大的变化,波形随声音信号的高低强弱而发生变化,可知计算机已经通过麦克风接收到了语音信号,说明信号采集工作成功。图5-5为对采集到的信号进行的快速傅立叶变换所得到的图形。
上面介绍的基于声卡和matlab的语音数据采集系统,具有实现简单、性价比和灵活度高的特点。经实例分析证明,利用该系统可实现在线连续采集语音信号并进行分析和处理。
应用前文所述的matlab 数据采集工具箱提供的命令函数和系统环境为windows98 的计算机上的板载声卡进行简单数据采集。记录5s的16 bit音频语音信号并回放, 采样频率设为11025 hz。
fs=11025 %设置采样频率
y1=wavrecord( 5*fs, fs, ‘unit16’) %进行无语音采集
plot( y1) %画出所采集到的信号的波形
y2=wavrecord( 5*fs, fs, ‘unit16’) %进行语音采集
wavplay( y1, fs)
sound( y2, fs) %回放所采集的语音
图5-6是用matlab的daq工具箱中的命令函数的方法采集数据, 采样过程中传声器无语音输入;图5-7是用创建声卡设备对象的方法采集数据, 采样过程中传声器有语音输入。
关键词:故障数据;远程数据分析;地铁车辆;平台设计;轨道交通;实时数据显示 文献标识码:A
中图分类号:U279 文章编号:1009-2374(2017)11-0007-02 DOI:10、13535/ki、11-4406/n、2017、11、004
1 概述
S着城市轨道交通的快速发展,地铁成为人们出行不可或缺的交通工具。地铁车辆作为运送乘客的主要载体,具有封闭性强、起停频繁、客流量大且来源复杂、乘客自助乘车、应急疏散难度大等固有特点,因此对其自身的可靠性及维修保障工作有着非常高的要求。搭建地铁车辆远程数据分析平台可以运行地铁车辆提供远程决策支持,对列车开展实时监控和故障处理,并通过故障统计和数据分析进而达到车辆优化设计的目的。
2 平台需求
2、1 功能需求
以列车运营管理的实际工作需求为核心,提高列车组效率和效能,节约维修费用,减少事故率为目标开展建设工作,其主要具有列车组及关键部件的实时监视、故障预测功能。
通过列车组及关键部件或子系统当前状态,对故障进行诊断或识别,并对潜在的故障进行预测或报警;根据故障诊断及预测信息、当前维修可用资源情况以及对系统的使用需求等对列车组或关键部件的维修活动提供决策支持和建议。实现一套列车组及关键部件的状态检测、故障诊断、运行监控、故障预测及决策支持的完整系统,同时针对不同子系统/产品建立全生命周期的产品数据服务,满足企业对生产、运营维护、设计优化、采购等不同环节决策的支撑要求。根据业务需求,系统具有以下功能:
2、1、1 车载系统。由系统检测、故障诊断、集中报警及无线传输等组成。通过在列车组及各子系统上安装各种传感器,获取动车组及关键子系统传感器及控制系统的数据。利用故障特征提取、数据分析及对比、基于模型的系统辨识等多技术相融合的故障诊断技术,实现牵引、制动、辅助等各子系统的在线故障诊断(故障定位到最小可更换单元)和故障报告,通过车载无线传输系统将状态数据和故障数据传输至地面。
2、1、2 运行监控系统。列车状态、故障监控、综合诊断及应急处置等组成。根据列车组和关键零部件的运行状态,提取与列车组安全运行相关的数据及关键技术指标进行监控。根据车载系统传输的故障报告或关键设备技术状态数据对当前列车组运行状态进行评估,对潜在的故障进行综合诊断,形成综合评估和故障诊断报告,依据故障等级对列车组进行控制,对列车组现场人员提供技术指导和应急处置方案。
2、1、3 健康维护系统。由故障报告、健康评估、故障预测、维修管理等组成。根据列车组车载系统及运行监控系统报告的故障数据和列车组设备状态数据以及积累的历史数据,在地面利用高性能计算机及检测系统实现智能故障推理、关键机械部件的故障发展趋势模型,实现列车组及关键部件健康状态评估及故障预测,给出列车组系统的综合评价指标,提高列车组或部件的维修管理水平。
2、1、4 决策支持系统。由状态维修、寿命预测、服役跟踪、档案管理等组成。根据地面系统存储的列车组及关键部件的大量数据和历史档案数据,利用数据挖掘、故障模式识别等手段,建立关键机械部件故障发展趋势模型库,电子零部件的连续量、离散量、开关量等不同性质的故障预测模型库,建立列车组及零部件健康档案,进行零部件寿命预测、服役跟踪和档案管理,给出维修决策,形成列车组及关键部件健康评价指标体系。
2、2 业务需求
根据地铁车辆远程数据分析系统提供的核心功能,具体的业务需求为:
2、2、1 数据采集存储模块。主要实现列车实时数据和离线数据的接收、转发、解析、存储等功能。
2、2、2 实时状态检测模块。对列车的关键部件工作状态、运行线路、故障数据进行管理和处理,以可视化的形式进行展示。
2、2、3 分析统计模块。对列车的历史数据、离线数据结合知识库,进行统计分析,以可视化的形式进行展示。
2、2、4 后台管理模块。对整个系统进行综合的后台管理,管理员通过Web登录管理系统后,可以进行用户管理、权限管理、日志管理以及资料管理等操作。
3 总体设计
3、1 搭建原则
以创新驱动、资源共享为引领,整合地铁和现代信息技术等先进成果,打造创新、高效的列车远程数据分析。系统是一种具有基础性的支撑体系,数据来源广泛而零散,它具有整合和共享的服务性质。
3、2 业务架构
以列车智能维护为目标应用领域,围绕其数据增量的特点,建立流式数据接入、存储管理、实时跟踪以及异常识别的全业务链服务体系。结合当前技术缺陷,在平台搭建中实现流式数据实时处理与离线分析工作的结合。
系统建设的目的是针对列车监测数据,提供一体化、智能化的数据支撑服务环境,实现多源数据的存储、管理、分析。其主要包括采集层、现场处理层、接入层、IO层、持久化层、分析处理层以及服务层共七个基本层次。
3、2、1 采集层:其通过各种传感器与车上网络环境形成数据采集环境。采集的各种对象的监控数据经过汇聚后,统一开展现场处置与传输等后继工作,其依赖列车通信设备。
3、2、2 现场处理层:其在采集层数据的基础上,根据管理机制对数据进行检测,发现异常对象的前兆与警报信息,并通过列控数据交换机制及时预警或值警,同时根据不同数据的业务重要性以多种方式回传后台。另外,结合列控网采集手段,在列车检修阶段采集有关数据并回传,满足后台管理、分析与业务支撑的要求。
3、2、3 接入层:根据不同类别数据的规范要求,清洗数据并存储入库。
3、2、4 IO层:利用文件系统实现底层数据的基本IO存储与读取。通过文件系统有效实现系统整体IO读写负载的平衡,满足数据持久化存储的基本要求。
3、2、5 持久化层:由基本数据库构成。在这一层中围绕列车海量、多维流式监测数据提供高性能数据存储管理系统。这一系统结合IO定向分布、流数据增量分段存储模型等方式,实现流数据集的规模可控,解决由高增量引起的存储膨胀问题;针对列车数据实时主动的需求特点,在键值存储模型的基础上,建立边界溢出主动机制,槌志貌阒械氖凳敝鞫提供基础。
3、2、6 分析处理层:在内存数据集的基础上构造基于连续窗口的事件多维数据主动协同机制;结合底层数据主动机制以及数据pub/sub机制实现增量过程中,事件的主动识别、跟踪与触发响应。
3、2、7 服务层:提供故障(报警)统计查询、实时数据查询等用户服务。
3、3 逻辑结构
远程数据分析平台由服务器端软件、Web端软件两部分组成。
3、3、1 服务器端软件。根据数据类型有流式、结构化以及查询模式化的特点,结合关系数据库构成一体化的存储管理支撑环境,完成数据的统一存储、管理。
3、3、2 Web端软件。提供系统实时状态监测、数据分析和预警等基本功能;为整个系统的数据处理和数据等操作提供统一的配置管理平台,包括用户信息管理、用户权限分配等系统管理功能,组成系统的综合信息管理环境。
3、4 物理结构
3、4、1 实时数据。(1)列车实时通过地面4G无线传输通道通过以TCP协议将车载数据分别传输到检修库服务器和车辆段服务器;(2)检修库和车辆段的实时数据采集存储软件同时对协议数据进行数据采集、解析,解析后的数据通过以太网存储到数据库,对实时数据长期存储;(3)Web程序读取数据库,对数据进行可视化展示;(4)用户通过以太网使用浏览器,在网页中进行查看。
3、4、2 离线数据。(1)车辆到库后,维护人员使用HMI进行手动触发进行车辆数据上传或者TCMS根据时间触发条件自动上传车辆数据,借用库内WLAN技术,以TCP或者FTP的协议发送到车辆段或者检修库服务器;(2)车辆段服务器中的离线数据采集存储软件对数据进行数据采集、解析,并将解析后的数据内容通过以太网的方式存储到数据库中;(3)Web程序读取数据库,对数据进行可视化展示;(4)用户通过以太网使用浏览器,在网页中进行查看。
4 结语
随着地铁车辆远程数据分析平台的搭建,可以大大提高车辆自诊断及维修智能化水平,提升维修诊断效率;降低人工成本,提高车辆的可靠性和安全性;更便于建立车辆维修智能化数据库,优化维修模式,提升资源利用率,随着车辆的数据累计,更加可以利用云计算、数据挖掘、神经元算法等提供车辆运行的安全性和可靠性,为后期车辆的设计改进提供强有力的数据支持。
参考文献
[1] 仇辉、智能交通管控平台中数据分析子系统的设计与实现[D]、北京邮电大学,2015、