java 单机接口限流处理方案
418
2023-03-05
本文目录一览:
网关是将两个使用不同传输协议的网络段连接在一起的设备,网关一般用作网络的入口和出口点,因为所有数据必须在路由之前通过或与网关通信。在大多数基于IP的网络中,唯一不通过至少一个网关的流量是在同一局域网(LAN)段上的节点之间流动的流量。
在个人或企业场景中使用网关的主要优点是将互联网连接简化为一个设备。在企业中,网关节点还可以充当代理服务器和防火墙。
网关如何工作
所有网络都有一个边界,限制与直接连接到它的设备的通信。因此,如果网络想要与该边界之外的设备,节点或网络通信,则它们需要网关的功能。网关通常被表征为路由器和调制解调器的组合。
网关在网络边缘实现,并管理从该网络内部或外部定向的所有数据。当一个网络想要与另一个网络通信时,数据包将传递到网关,然后通过最有效的路径路由到目的地。除路由数据外,网关还将存储有关主机网络内部路径的信息以及遇到的任何其他网络的路径。
网关基本上是协议转换器,促进两个协议之间的兼容性,并在开放系统互连(OSI)模型的任何层上操作。
网关的一个用途是在物联网环境和云之间创建通信链路。
网关类型
网关可以采用多种形式并执行各种任务。这方面的例子包括:
Web应用程序防火墙: 此类型过滤来自Web服务器的流量并查看应用程序层数据。
云存储网关:此类型使用各种云存储服务API调用转换存储请求。它允许组织将存储从私有云集成到应用程序中,而无需迁移到公共云。
API、OA或 XML 网关: 此类型管理流入和流出服务,面向微服务的体系结构或基于XML的Web服务的流量。
物联网网关: 此类型聚合来自物联网环境中设备的传感器数据,在传感器协议之间进行转换,并在向前发送之前处理传感器数据。
媒体网关 : 此类型将数据从一种网络所需的格式转换为另一种网络所需的格式。
电子邮件安全网关:此类型可防止传输违反公司政策或将以恶意目的传输信息的电子邮件。
VoIP中继网关 :这种类型便于使用普通老式电话服务设备,如固定电话和传真机,以及IP语音(VoIP)网络。
此外,服务提供商可以开发网关,供客户使用。
网关和路由器的相似之处在于它们都可用于调节两个或多个独立网络之间的流量。但是,路由器用于连接两个相似类型的网络,网关用于连接两个不同的网络。由于这种逻辑,路由器可能被视为网关,但网关并不总是被视为路由器。路由器是最常用的网关,用于将家庭或企业网络连接到互联网。
“ 本项目案例由 航班管家 投递并参与 由数据猿上海大数据联盟联合推出的“行业盘点季之数智化转型升级”大型主题策划活动之《2021中国企业数智化转型升级创新服务企业》榜单/奖项的评选。
航班管家开放平台是航空铁路出行行业首个SaaS级服务平台,聚焦大交通出行服务行业数字化升级,基于民航局空管局授权的官方动态数据,整合航空、铁路、场站、旅客、货运等多维度数据,结合拥有自主知识产权的算法模型与行业Know-how,面向行业提供多种数据服务产品和数据解决方案,赋能行业合作伙伴、帮助其提效降本。
如数字化程度有待提高的旅行社、票务代理、TMC、企业差旅部门等,用户在其平台购票后,需要通过其他第三方平台查询航班/列车动态信息,用户体验感和便利程度大大降低,航班管家面向这些企业,提供SaaS级产品【行程服务H5】,客户可根据自身需求进行页面个性化配置,然后将配置好的页面直接嵌入自有APP、公众号、小程序等产品中,方便用户在自有平台完成购票、动态查询等服务,形成服务闭环,提高用户体验,同时降低企业开发成本。
面向数据分散在各个部门、协调难度大,但正在进行数字化转型的航司、机场等企业,还有需要分析数据的金融、券商、媒体、院校、咨询公司、研究机构等行业,航班管家提供【智数出行】服务,包括数据分析平台、可视化大屏、大数据分析报告等产品,分析行业数据、洞察行业发展,提供有价值的分析结果与行业洞见,以满足行业日常工作及决策支撑需要,助力企业数字化转型升级。
实施时间
开始时间:2021年1月初完成项目立项
里程碑节点:
2021年1月25日
·官网V1.0版本上线。
·华为云上代码部署,正式环境搭建完成。
2021年4月8日
·平台V1.0版本上线,支持账号认证、产品服务开通。
2021年5月31日
·平台V2.0版本上线,行程服务产品支持套餐包购买,H5版本官网、产品介绍页上线。
·首批客户上线,分贝通、公务之家、QQ浏览器、UC浏览器等。
2021年6月30日
·平台V3.0版本上线,官网全新改版、行程服务产品支持功能模块可配置化、支持在线扫码支付。
截止时间:2021年年8月底
依托于航班管家多年的数据积累及服务B端、C端用户经验总结,打造一站式开放平台,致力于为多种行业用户提供民航、铁路、航空货运大交通数据及其衍生产品与服务,如行程服务H5、API接口、大数据分析报告、数据分析工具及可视化等,助力企业提升服务水平、降低成本、提高效率,并为企业决策提供辅助支持。
行程服务H5
为OTA/TMC/旅行社/企业差旅部门等,提供基于H5页面的航空/铁路行程全流程信息服务,企业可将H5页面直接嵌入自有移动端产品中,如APP、公众号、小程序,让出行旅客/员工不再依赖其他第三方产品,在自有产品中即可掌握行程动态信息,方便旅客/员工合理安排规划行程,提升出行体验,提高服务满意度,增强用户黏性,同时降低企业开发维护成本。
API接口
为各类需要航班/列车动态信息、航班/列车准点率、飞机/列车基础参数、机场/车站基础设施信息及其他相关数据的企业,提供API接口服务。如用车行业,基于实时的航班/列车动态信息,做好机场/车站接送业务支持,合理安排车辆调度,提高服务效率;保险业,基于准点率数据,实现延误险动态定价,基于航班/列车动态数据,自动判断航班延误/取消是否达到赔付标准,实现自动理赔,提高理赔效率;OTA,提供飞机/列车基础参数数据,如机型、车型、座椅间距、 娱乐 设施配备等,供用户在选择航班时做参考,提升服务体验感。
数据报告
基于航班管家多年的民航铁路数据积累,分析民航铁路交通运输和旅客出行状况,提供定期、专题等多种类型的专业分析报告,还可基于行业专家团队能力提供深度行业咨询服务,从整体上把握市场趋势,为日常工作及生产经营决策提供支持。如为发动机制造商,围绕机队数据、飞机利用率、停场时长等指标,提供机队分析报告,帮助其快速掌握航司机队状况;为机场、航司、金融、证券、媒体等行业,围绕计划/实际航班量、航班执飞率、航班座位数、航班拥挤度、旅客运输量等指标,提供民航运行周报,从整体上把握民航运行状况,了解行业趋势;节假日时发布专题报告,分析旅客出行数据, 探索 旅客出行规律,为航司、旅行社、酒店等企业,在制定节假日产品时,提供数据支持。
数据分析工具及可视化
基于行业领先且专业的民航铁路出行大数据及拥有自主知识产权的算法模型,通过可视化平台,将分析、预测数据深入浅出的展现出来。如Mapping System(航线网络图),提供航司、机场航线布局,并对数据进行分析展示,方便用户直观便捷的查机场/航司航线状况、通航点状况、空铁联运衔接状况;大数据平台,提供官方统计、机场分析、航司分析、航线分析、铁路分析等分析模块,帮助航司/机场快速掌握民航铁路整体运行状况,了解对标机场/航司运行状况,为机场/航司运行、服务提升、产品优化提供数据支撑;为文旅厅,提供空铁联运实时监测系统,帮助文旅厅实时掌握机场/火车站实时旅客流量、航班运行状况、旅客运行状况,提前做好景区开放、接待筹备等工作。
海量数据实时处理,及时准确对外输出。我们的数据覆盖全球1100+家航空公司,5000+座机场,境内航班数据覆盖率达100%,全球航班覆盖率达98%,每天处理超过20万趟航班的动态信息,智能推送40多类旅客行程关怀信息,国内航班实际起降时间准确率达99%。同时,自建铁路数据库已覆盖国内3138个车站,10000+班车次,每日覆盖中国国内90W+进出站车次。
航班动态的数据是由数据生产者实时解析的,数据生产者将解析的数据发送到Kafka,由消费服务对数据进一步消费处理,最终由消费服务将有效的数据同步到MySQL数据库中存储。
全球每天约有10万次航班的起降,预计每分钟产生5万条航班动态数据合计14M,每天产生的数据约20.4G,每月612G,每年7.2T ; 航班管家数据覆盖全球1100+家航空公司,5000+座机场,境内航班数据覆盖率达100%,全球航班覆盖率达98%,每日处理超过20万趟航班的动态信息。
为了面向行业提供多种数据服务产品和数据解决方案,赋能行业合作伙伴、帮助其提效降本,2021年01月06日,公司领导召集部分员工,确定了项目的大致方向,提出了依托现有的航班、高铁数据接口,开发一个“航班管家开放平台”的SaaS平台。
01
项目设计
研发人员根据项目提出的需求,第一时间画了简单的设计图。
航班管家开放平台可主要分为3个大模块和15个子模块:3个大模块分别是控制台模块、数据服务模块、数据中心模块。15个子模块分别是:用户模块、鉴权模块、产品模块、网关模块、API数据模块、H5数据模块、控制台模块、管理后台模块、账单模块、余额模块、批价模块、支付模块、时间轴模块、行程中心模块、行程消息模块。
控制台模块:
提供用户专属账号登陆“航班管家开放平台”的控制台,开通“行程服务”中的产品获取航班、高铁服务的专属API接口数据和下载“数据报告”产品中有价值的大数据分析报告等。
数据服务模块:
数据中心模块:
基于民航空管局授权的官方动态数据,整合航空、铁路、场站、旅客、货运等多维度数据,结合拥有自主知识产权的算法模型与行业Know-how,构建有价值的数据。
02
技术选型
技术团队了解完业务的需求,考虑到用户的类型和规模,为了保证系统的安全性、可用性、稳定性、可伸缩性和可维护性,确定了以下的架构模式:
2.1、分层模式:
控制台模块采用的是分层模式:表示层、应用层、数据访问层。
表示层:
使用Vue.js等进行前端展示,完成集成和数据展示功能。
应用层:
使用Spring Cloud、Log4j、MyBatis等开源框架,Spring Cloud使用的计算机编程语言是Java,保证了系统代码的可移植性、安全性、可维护性,同时它也是一个分布式系统,保证了系统的可伸缩性、可维护性、可用性。
数据访问层:
综合使用Kafka、MySQL、Redis等多种开源技术,高效完成数据存储、资源调度、数据计算等,为业务及其他环节做支撑。
2.2、主从设备模式
数据中心模块中的数据库MySQL采用主从设备模式:主设备储存数据最终的计算结果,从设备中返回主设备中的计算结果。
MySQL使用主从设备模式,实现了实时灾备,在单台机器发生故障的时候,可以迅速的切换到其它机器,即实现了数据的备份,又保证了服务的高可用,同时从设备可以有多个,也保留了服务的扩展性。
2.3、代理模式
采用Nginx服务器的反向代理,防止主服务器被恶意攻击,确保数据的安全,提供数据的防护能力。同时Nginx服务器提供有负载均衡和动静分离的实现支持,可以极大的提高服务的安全性、稳定性,可用性。为了进一步保证网络安全,所有的服务均采用HTTPS加密协议进行网络资源传输,为用户良好的体验效果提供保障。
03
实施过程
2021-01-18
以下模块分别完成了服务器端文档编写和接口开发并发布测试环境:
1. 产品模块完成了H5资源和API资源的在线配置相关接口;
2. 鉴权模块完成了资源访问的鉴权相关接口;
3. 用户模块完成账户信息的维护相关接口;
4. API数据模块完成了航班数据输出接口、高铁正晚点数据输出接口;
5. H5数据模块完成了航班详情页和高铁详情页服务器端接口;
6. 控制台模块完成产品列表、应用列表相关接口。
2021-01-25
1. 控制台模块和产品模块、鉴权模块、前端完成联调和上线;
2. 网关模块和鉴权模块、产品模块、H5数据模块、API数据模块完成联调并上线;
3. 管理后台模块完成了基础框架的搭建和权限系统的开发、测试和部署到线上华为云。
2021-02-25
以下模块分别完成了服务器端文档编写和接口开发并发布测试环境:
1. API数据模块完成高铁动态、列车时刻表输出相关接口;
2. H5数据模块完成航班详情页内部跳转链接页面、高铁详情页内部跳转链接页面;
3. 时间轴模块完成卡片元数据和阶段卡片关联的相关接口;
4. 控制台模块完成用户注册、找回密码、更换手机号、主题配置相关接口;
5. 管理后台模块完成产品货架的展示、产品上下架,用户信息,系统配置。
2021-03-08
1. API数据模块和网关模块完成高铁动态、列车时刻表输出的联调、上线;
2. H5数据模块和网关模块、前端完成航班详情页、高铁详情页内部跳转链接页面的联调、上线;
3. 时间轴模块和管理后台模块完成卡片元数据和阶段卡片关联的联调、上线;
4. 控制台模块和用户模块、前端完成户注册、找回密码、更换手机号、主题配置的联调、上线;
5. 管理后台模块完成产品货架的展示、产品上下架、用户信息、系统配置的上线。
2021-03-26
以下模块分别完成了服务器端文档编写和接口开发并发布测试环境:
2. 行程消息模块完成消息推送、消息列表展示的相关接口;
3. 控制台模块完成用户的认证、应用的动态配置、银行卡对公转账充值的相关接口;
4. 批价模块完成了产品的批价处理相关接口;
5. 账单模块完成了生成产品的消费订单相关接口;
6. 余额模块完成了消费订单的扣费相关接口
7. 支付模块完成了企业账户信息的维护、银行卡对公转账充值到余额、余额支付、余额查询的相关接口;
8. 管理后台完成用用户认证审核、户充值的订单和充值处理的相关接口。
2021-04-08
1. 行程中心模块和网关模块、控制台模块完成了联调、上线;
2. 行程消息模块和网关模块、控制台模块完成了联调、上线;
3. 账单模块和批价模块、余额模块、支付模块完成了联调、上线;
4. 控制台模块和支付模块、管理后台模块、前端完成了联调、上线;
5. 管理后台模块和控制台完成了联调、上线。
2021-05-15
以下模块分别完成了服务器端文档编写和接口开发并发布测试环境:
1. 支付模块完成支付宝、微信扫码支付的相关接口;
2. 账单模块完成了日账单、月账单统计和明细查询的相关接口;
3. 控制台模块完成了用户账单的汇总和明细的展示和导出、行程服务产品套餐包展示和购买和订单的支付、查询相关接口;
4. 批价模块完成行程服务产品套餐包的批价;
5. 管理后台模块完成产品套餐的录入、上下架,用户购买套餐的展示、用户订单的相关功能。
2021-05-31
1. 支付模块和控制台完成扫码支付的联调、上线;
2. 账单模块和控制台完成账单统计和明细查询的联调、上线;
3. 控制台模块和支付模块、前端完成套餐的展示、购买和订单列表的查询的联调和上线;
4. 批价模块和控制台模块完成套餐包相关产品的计费调整的联调和上线;
5. 管理后台模块完成了测试和上线。
2021-06-18
以下模块分别完成了服务器端文档编写和接口开发并发布测试环境:
1. 控制台模块完成支付宝、微信扫码充值到余额,航班详情页、高铁详情页支持功能模块可配置化;
2. H5数据模块完成航班详情页、高铁详情页功能模块的动态展示。
2021-06-30
1. 控制台模块和支付模块、前端完成扫码充值联调、航班/高铁详情页的功能模块动态配置的联调、上线;
2. H5数据模块和前端完成航班详情页、高铁详情页功能模块的动态展示的联调、上线;
3. 前端完成官网的全新改版上线。
民航局空管局官方授权数据,为航班信息提供了官方来源的数据,充实、完善了底层数据库。
·与交通行业专业院校、科研院所、金融券商等展开合作,特聘各领域专家组成专家团队,为客户提供深度的行业咨询服务及分析报告产品。
一、项目定位
1. 概述:大交通数据及服务开放平台,为多种行业用户提供民航、铁路、航空货运大交通数据及其衍生产品服务,并根据各行业特色和需求,提供个性化、配套完善的解决方案。
2. 目标:封装航班管家的各项能力,向平台用户输出多种类的产品服务及解决方案。提供一站式自助化线上服务,降低自身人力成本投入。
3.提供成熟稳定的行程服务H5页面,企业可在自有移动端产品中嵌入航班、列车行程服务及行程管理页面,以企业自己的品牌,在自有产品中一站式全流程服务出行用户,让用户能轻松管理自己的行程。帮助企业显著提升用户出行体验,更好服务用户,创造更多商业价值。
4. 可为企业高效快速对接以下成熟型行程服务产品降低企业开发成本、提升用户出行服务满意度,如行程管理、航班行程服务、列车行程服务、全场景服务信息推送。用户可随时查看已有行程/ 历史 行程
用户可自主添加航班、列车行程,支持航班号/起降地查询航班信息、车次号/出发到达站查询火车信息,航班行程服务,围绕用户航空出行场景,提供精准的航班动态信息,并将航空出行全流程划分为多个阶段,在不同阶段提供不同的数据和服务,企业可通过H5页面将服务嵌入自有产品中,为用户提供一站式全流程服务。不同行程阶段,给用户提供的服务,可以在平台进行配置。实时、精准呈现航班动态相关信息,大数据预测起飞及到达时间,准确告知值机柜台和登机口信息,详细指引登机路线,确保用户顺利登机,航班近期准点率及平均延误时长统计。
二、目标群体
1. 短期目标群体:
有数据使用需求的中小型用户,如券商、咨询公司、学者学生、创业开发者等(对标API接口产品)。
有数据分析需求,需要数字化分析工具的用户,如机场、航司、政府、制造商等(对标数据平台、数据报告产品)。为C端提供行程服务需求的用户如中小型OTA、TMC等(对标行程服务产品)。
2. 长期目标群体:
有货运数据需求的用户,如物流、货运代理等(对标货运服务产品)
为服务的各领域提供专业的解决方案,如OTA、物流、航司、机场、制造商、用车、保险、车联网、集成系统开发、云服务等。
成效:
保险:行业数据分析核算,实时核保,赔付周期提升99%,赔付率降低50%,优化用户服务体验。
网约车:合理优化网约车资源利用率,平均减少接送机司机空等时间75分钟/年。
酒店:为酒店提供用户行程管理,6小时酒店航班信息同步,提高房源利用率,提升“机+酒”服务体验。
物流:为物流快递行业提供发货前中后数据信息参考,航班管家为中国90%的航空快件服务商赋能提效。
航班管家
航班管家是国内领先的智能出行平台,以“航班+高铁”的行程服务为核心,服务全面覆盖航班、高铁以及专车接驳三大出行场景,服务所有大交通出行用户。面向C端,航班管家为用户提供航班/列车动态信息、票务/酒店预订、专车接送、出行攻略内容等在内的一站式出行服务,让出行成为美好的生活方式;面向B端,航班管家构建覆盖航班和铁路出行全场景的企业级SaaS平台,聚焦大交通出行服务行业数字化升级,为OTA、TMC等行业提供多场景服务解决方案,赋能合作伙伴,提效降本。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~