论文部分内容阅读
摘要:随着信息化进程的不断推进,各生产单位在信息建设上需要访问专业数据库获取数据用于生产分析应用,本文旨在研究数据库接口技术,能够对接多个数据库,返回相应的数据信息,在不同区域、不同级别的授权用户可以获得对应数据。
关键词:数据库接口;接口规范;信息源
1 数据库接口方式
数据库接口的主要功能是实现数据库与外界的数据交互,任何一种技术实现都可称为数据库接口。常见的数据库接口方式有一下几种:数据库访问授权、ETL工具获取、中间服务中转、程序接口实现。根据实际需求,从授权可控、用户可控、访问可控、扩展可控等四个方面进行对比分析,程序接口实现方式为一个接口对应一个查询涉及数据范围小可控性高,并将数据库保护在接口服务器之后,可最大限度保护数据安全并且程序开发自由灵活性较高,可以根据各种实际需求进行定制开发,后期扩展性较高。
2 技术经济考核指标
在确定以程序接口实现为主要研究内容后,从接口使用的安全性、扩展性、稳定性、准确性等四个方向制定了技术经济考核指标,并展开深入研究。
(1)接口使用的安全性,在实现接口的快速开发的同时保证接口安全性。
接口使用的安全性主要分为响应安全和调用安全。
响应安全主要是避免SQL注入风险。SQL注入攻击指的是通过构建特殊的输入作为参数传入Web应用程序,而这些输入大都是SQL语法里的一些组合,通过执行SQL语句进而执行攻击者所要的操作,其主要原因是没有细致地过滤用户输入的数据,致使非法数据侵入系统。在程序接口参数的响应层和执行层进行双重过滤,避免SQL注入风险。
调用安全主要研究接口调用者身份的验证。访问令牌鉴权机制,使用者在对接口的每次调用时,推送必要的请求参数的同时要附带自己身份令牌。这就意味着在设计接口时,有一个接口是首先要调用的,让接口服务器生成唯一的身份令牌,身份令牌具备时效性,在获取后的一段时内容有效。在时效期内如果没有接口调用动作,则令牌时效,令牌时效后需重新获取。
(2)接口使用的扩展性,满足日常的数据库操作需求。
微服务架构是近几年提出的一种程序开发理念,微服务架构中的模块之间的数据交互就是采用程序接口这一技术来实现的。微服务对接口有着强大管理能力和灵活的管控性,如:接口服务的注册与发现,接口调用的路由与熔断。这些机制有效的保证了接口调用过程中的便捷性和可靠性。目前,我们将微服务体系中底层数据查询和服务层进行单独拆分,用来完成程序接口开发工作,同时按照微服务的理念进行技术开发保证以后向微服务的可移植。程序接口开发采用JAVA语言实现,基于Java语言的微服务实现技术为Spring Boot和Spring cloud。通过采用Spring Boot开发即可以实现接口程序快速开发,满足扩展需求,又能与Spring cloud紧密结合。Spring cloud是一个基于Spring Boot实现的云应用开发工具是全局的服务治理框架,开发中快速配置脚手架,可以基于Spring Boot快速开发单个微服务也就是接口程序。
(3)接口使用的稳定性,在接口大量调用时保证接口响应及时。
当单一接口服务器在大量请求时会产生信息阻塞,为解决这一问题最简单的方式就是增加服务器数量,但这样会导致服务接口对外访问不唯一的缺点,给管理上带来问题。我们在多个接口服务前架设负载均衡来解决访问不唯一的问题。负载均衡意思就是将统一来源的访问分摊到多个响应服务器上进行执行,从而共同完成工作任务。它的应用范围很广如Web服务器、FTP服务器、企业内关键应用服务器等。实现技术也较多,本课题选择Nginx作为负载均衡实现技术。
(4)接口使用的准确性,了解各个业务系统数据模型,保证接口提供的数据准确无误。组织A1,A2,A5专业系统运维人员一同研究数据字典定位数据源,并进行录入源跟踪监测保证数据的准确性;对于乙方开发公司,提供查询服务器,数据字典说明,并开发测试接口供查询测试使用,来保证数据接口的准确性。
3 接口规范制定
接口又被称为Webservice,常见的形式为Url地址,普通浏览器即可完成调用操作。主要的接口标准有两种Wsdl、Resful,本文对这两种接口都进行了技术研究,并制定接口调用规范。接口规范包含:接口名称、接口实现功能介绍、接口地址、调用参数说明、返回信息格式说明。
4 多种信息源采集入库
数据接口程序是实现数据的交互,为建设单位提供接口多为数据读服务,而部门内日常工作中经常涉及数据写入操作,针对这种情况对接口进行了功能丰富。为解决日常办公中生产资料提取问题,设计开发截屏软件,该软件具备图像识别功能,并与数据接口对接,这样就能实现截取图片中的文字并识别入库功能。针对本地库识别率不高的问题,追加开发了百度图文API调用功能,可以将图片进行百度API识别。为解决Excel文档批量提取问题,设计开发文档识别功能完成Excel文档自动提取工作。该功能包含搜索制定目录下所有Excel文档,并针对版本类型分类,根据文档所在路径,文档名称,文档内Shell名称进行多级内容细分,将提取结果与数据接口对接实现入库。
5 创新点
研究实现了接口数据图形化展示,数据接口在获得请求后返回的信息为Jason格式,网页利用JavaScript技术可以实现对这些信息接解析,并能生成图表等展示样式。如果想要更好的为用户服务就必须尽可能的了解用户的需求数据,图表的展现形式就最好的了解方式。通过将接口程序与Tableau软件进行结合,实现了接口数据图形化的展示。
与Tableau软件交互可以看出钻头进尺接口所返回数据的图形化展示,可分为三部分:钻进深度的变化,钻井头每天的位移变化,钻井的每天进尺量。通过图形的显示使数据的管理者更加深入的了解了數据应用情景。
6 结束语
本文对生产单位接口技术的研究,最终可以同时对接多个数据库,在逻辑层形成综合的虚拟数据池,这样一个访问请求就可以返回多个数据源的数据信息,有效的减少了数据收集环节的劳动强度。同一接口可以根据不同的请求返回不同的数据信息,在模型推广应用阶段有效避免数据二次收集的工作,降低用户应用难度,实现快速推广。
参考文献
[1]李瑞,计算机软件数据接口的应用分析研究[J].自动化与仪器仪表,2017,6:201-203.
[2]李萍,基于Web Service的数据共享交换平台的设计与实现[J].计算机时代,2016,7:34-41.
关键词:数据库接口;接口规范;信息源
1 数据库接口方式
数据库接口的主要功能是实现数据库与外界的数据交互,任何一种技术实现都可称为数据库接口。常见的数据库接口方式有一下几种:数据库访问授权、ETL工具获取、中间服务中转、程序接口实现。根据实际需求,从授权可控、用户可控、访问可控、扩展可控等四个方面进行对比分析,程序接口实现方式为一个接口对应一个查询涉及数据范围小可控性高,并将数据库保护在接口服务器之后,可最大限度保护数据安全并且程序开发自由灵活性较高,可以根据各种实际需求进行定制开发,后期扩展性较高。
2 技术经济考核指标
在确定以程序接口实现为主要研究内容后,从接口使用的安全性、扩展性、稳定性、准确性等四个方向制定了技术经济考核指标,并展开深入研究。
(1)接口使用的安全性,在实现接口的快速开发的同时保证接口安全性。
接口使用的安全性主要分为响应安全和调用安全。
响应安全主要是避免SQL注入风险。SQL注入攻击指的是通过构建特殊的输入作为参数传入Web应用程序,而这些输入大都是SQL语法里的一些组合,通过执行SQL语句进而执行攻击者所要的操作,其主要原因是没有细致地过滤用户输入的数据,致使非法数据侵入系统。在程序接口参数的响应层和执行层进行双重过滤,避免SQL注入风险。
调用安全主要研究接口调用者身份的验证。访问令牌鉴权机制,使用者在对接口的每次调用时,推送必要的请求参数的同时要附带自己身份令牌。这就意味着在设计接口时,有一个接口是首先要调用的,让接口服务器生成唯一的身份令牌,身份令牌具备时效性,在获取后的一段时内容有效。在时效期内如果没有接口调用动作,则令牌时效,令牌时效后需重新获取。
(2)接口使用的扩展性,满足日常的数据库操作需求。
微服务架构是近几年提出的一种程序开发理念,微服务架构中的模块之间的数据交互就是采用程序接口这一技术来实现的。微服务对接口有着强大管理能力和灵活的管控性,如:接口服务的注册与发现,接口调用的路由与熔断。这些机制有效的保证了接口调用过程中的便捷性和可靠性。目前,我们将微服务体系中底层数据查询和服务层进行单独拆分,用来完成程序接口开发工作,同时按照微服务的理念进行技术开发保证以后向微服务的可移植。程序接口开发采用JAVA语言实现,基于Java语言的微服务实现技术为Spring Boot和Spring cloud。通过采用Spring Boot开发即可以实现接口程序快速开发,满足扩展需求,又能与Spring cloud紧密结合。Spring cloud是一个基于Spring Boot实现的云应用开发工具是全局的服务治理框架,开发中快速配置脚手架,可以基于Spring Boot快速开发单个微服务也就是接口程序。
(3)接口使用的稳定性,在接口大量调用时保证接口响应及时。
当单一接口服务器在大量请求时会产生信息阻塞,为解决这一问题最简单的方式就是增加服务器数量,但这样会导致服务接口对外访问不唯一的缺点,给管理上带来问题。我们在多个接口服务前架设负载均衡来解决访问不唯一的问题。负载均衡意思就是将统一来源的访问分摊到多个响应服务器上进行执行,从而共同完成工作任务。它的应用范围很广如Web服务器、FTP服务器、企业内关键应用服务器等。实现技术也较多,本课题选择Nginx作为负载均衡实现技术。
(4)接口使用的准确性,了解各个业务系统数据模型,保证接口提供的数据准确无误。组织A1,A2,A5专业系统运维人员一同研究数据字典定位数据源,并进行录入源跟踪监测保证数据的准确性;对于乙方开发公司,提供查询服务器,数据字典说明,并开发测试接口供查询测试使用,来保证数据接口的准确性。
3 接口规范制定
接口又被称为Webservice,常见的形式为Url地址,普通浏览器即可完成调用操作。主要的接口标准有两种Wsdl、Resful,本文对这两种接口都进行了技术研究,并制定接口调用规范。接口规范包含:接口名称、接口实现功能介绍、接口地址、调用参数说明、返回信息格式说明。
4 多种信息源采集入库
数据接口程序是实现数据的交互,为建设单位提供接口多为数据读服务,而部门内日常工作中经常涉及数据写入操作,针对这种情况对接口进行了功能丰富。为解决日常办公中生产资料提取问题,设计开发截屏软件,该软件具备图像识别功能,并与数据接口对接,这样就能实现截取图片中的文字并识别入库功能。针对本地库识别率不高的问题,追加开发了百度图文API调用功能,可以将图片进行百度API识别。为解决Excel文档批量提取问题,设计开发文档识别功能完成Excel文档自动提取工作。该功能包含搜索制定目录下所有Excel文档,并针对版本类型分类,根据文档所在路径,文档名称,文档内Shell名称进行多级内容细分,将提取结果与数据接口对接实现入库。
5 创新点
研究实现了接口数据图形化展示,数据接口在获得请求后返回的信息为Jason格式,网页利用JavaScript技术可以实现对这些信息接解析,并能生成图表等展示样式。如果想要更好的为用户服务就必须尽可能的了解用户的需求数据,图表的展现形式就最好的了解方式。通过将接口程序与Tableau软件进行结合,实现了接口数据图形化的展示。
与Tableau软件交互可以看出钻头进尺接口所返回数据的图形化展示,可分为三部分:钻进深度的变化,钻井头每天的位移变化,钻井的每天进尺量。通过图形的显示使数据的管理者更加深入的了解了數据应用情景。
6 结束语
本文对生产单位接口技术的研究,最终可以同时对接多个数据库,在逻辑层形成综合的虚拟数据池,这样一个访问请求就可以返回多个数据源的数据信息,有效的减少了数据收集环节的劳动强度。同一接口可以根据不同的请求返回不同的数据信息,在模型推广应用阶段有效避免数据二次收集的工作,降低用户应用难度,实现快速推广。
参考文献
[1]李瑞,计算机软件数据接口的应用分析研究[J].自动化与仪器仪表,2017,6:201-203.
[2]李萍,基于Web Service的数据共享交换平台的设计与实现[J].计算机时代,2016,7:34-41.