文分享自华为云社区《基于华为云GES的九洲平台确定性运维实践-云社区-华为云》,作者:华为云GES团队 华为云SRE九洲团队。
传统的云资源运维存在诸多问题:对风险的管控仍然依赖人工而不是工具系统,风火水电基础设施在遇到问题时因无法定位影响只能全局管控,使影响面无故扩大。由于缺乏云资源的拓扑信息,部分资源依赖获取不到会导致许多问题的搁置……提升云资源的自动化运维能力,面临诸多挑战:
缺乏拓扑信息,依赖分析难
不同的云资源(如租户信息、云服务信息、机柜机房信息)来源于不同的系统中,从软件层面的云服务,到硬件层面的机房机柜等,都可能出现各种各样的问题,并且不同的云服务之间存在着一些依赖关系,一个云服务出问题可能影响其他云服务。
自动化程度低,问题定位依赖人工
即使拥有这些依赖关系并存储在配置管理数据库中,传统运维手段也只能定位问题节点,对于问题的爆炸半径(如问题节点依赖的机柜机房信息、或依赖的其他云服务)往往要依赖手工定位。
运维诉求杂,查询类型多
此外运维例行维护、故障定位需要进行类型繁多的查询,既需要有实时性要求的单点深度链路查询支撑运维,也需要全局类链路统计等偏离线任务的查询支撑下游任务。
从数据入库到计算查询,华为云图引擎GES为九洲平台CloudMap的存储、查询和分析提供了一站式解决方案。
在复杂、庞大数据量的背景下很难使用传统的结构化数据库进行数据建模,图引擎帮助快速构建点到点、点到边之间的数据建模;
从基础设施到云服务,使用图引擎构建全栈元数据,创建了过亿的点边关系,同时这些点、边支持增加属性机制,让每个点、边都能存储对应的属性;
数亿带索引的属性数据小时级数据导入,保证了数据的时效性。
图 1 简化后的元数据截选
华为云图引擎GES提供了丰富的API接口查询能力。图引擎团队支撑CloudMap团队了解和学习相关查询接口和Cypher语法,实现接口化的查询逻辑。CloudMap的查询请求通过GES的Cypher、PipelineQuery、PathQuery等接口完成,这些请求响应和返回格式统一,便于处理,简化了CloudMap的处理逻辑,降低了运维诉求杂,查询类型多带来的业务开发成本。查询请求的高效响应,让长链路的空间关系数据得以快速查询并消费。
秒级响应能力:在图引擎的强大算力支持下,九洲平台CloudMap实现了多点、多跳查询的能力,在复杂的空间关系中快速、准确的找到需要的数据及关系。其中利用业界领先的技术,图引擎将大量6-8跳查询的响应控制在秒级,使得CloudMap进行实时故障影响面分析、设备依赖关系查询成为可能;
离线计算能力:在对于需要庞大计算量、大量数据的分析型任务中,图引擎提供了异步任务能力,通过提前执行离线查询/算法任务并缓存结果,保证了结果获取的效率,支撑了CloudMap向下游应用提供数据;、
强大索引机制:图引擎支持像关系型数据库一样的索引构建能力,可以基于label、属性等进行索引创建,实现全图属性过滤任务的快速响应;
稳定可靠的查询能力:由于数据量大、查询链路长的原因,在查询过程中往往会使用大量内存,图引擎通过内存管理技术控制总内存使用量,让查询稳定可靠。
图 2 CloudMap空间数据3D拓扑示例
图 3 CloudMap数据概览
华为云图引擎GES团队支持九洲平台CloudMap完成了亿级空间数据构建,数十个查询API落地九洲平台支撑每天的业务查询。九洲平台通过租户资源拓扑构建、网络流量路径分析、服务动态依赖发现打造全链路可视能力,构筑基于站点视角的数字化平台,实现分钟级问题定界。
图 4 CloudMap云上资源拓扑示意图
租户资源拓扑是将实体抽象成与其大小、形状无关的“点”,而把连接实体的线路抽象成“线”。CloudMap通过整合各类系统中的数据信息,将华为云的租户与其相关租赁的物理机、虚拟机进行关系的构建并存储到华为云图引擎GES中,构建租户资源拓扑,使得依赖分析成为可能。配合GES提供的查询语句和API,在租户出现问题时第一时间能够通过“线”溯源回对应的租赁机器,并快速定位和解决其中的问题。
图 5 CloudMap租户资源拓扑示意图
华为云作为国内TOP云服务厂商,每日网络流量数据是比较庞大的,对于网络流量路径的管理和可视就如地图之于道路交通一样重要。而在运维场景下,掌握了网络流量路径可以进一步的补充由基础设施、基础服务到高阶服务之间的链路关系。CloudMap通过将请求流量进行监控,绘制出一个整体、清晰的物理和虚拟网络路径,可以准确截断问题的蔓延,提高自动化运维水平。
图 6 CloudMap高阶资源关联的物理网络拓扑示意图
服务依赖发现是发现分布式软件系统中各组件依赖关系的过程,随着华为云的规模扩张,服务往往会被拆分为多个子服务。分布式软件系统通过不同子服务之间的组合,提供了稳定多样化的服务。与此同时,由于这些错综复杂的依赖关系,也伴随着很多连锁反应。其中最经典的案例就是由于单个服务的故障导致其在分布式软件系统中快速传播,导致大量的服务失效。在华为云的日常运维中,掌握各个服务的动态依赖是让云稳定可靠不可或缺的一项技术,它关系到了能否快速的找到保障服务的各个关联服务,避免其他服务引火烧身。使用GES的多跳查询能力,CloudMap及时定位单服务问题的影响范围,避免大量服务失效,解决爆炸半径求解难的问题。
图 7 CloudMap云服务资源拓扑示例
作为站点数字化平台,九洲平台CloudMap在图引擎GES上搭建运维图模型,建立站点空间数据关系。通过叠加空间数据和运维作业数据,从而打破数据孤岛、消除数据断裂点、沉淀专家经验,形成运维知识图谱,释放数据价值,助力故障快速定位定界。
图 8 九洲数据流
截止目前,CloudMap在GES上存储的空间关系数据已覆盖52+云服务,在分布式缓存服务DCS、云数据库服务RDS、文档数据库服务DDS和大数据服务MRS等高阶服务故障快恢场景应用落地。除此之外,CloudMap还为站点风控、变更风控、故障快恢、站点工作台等多个运维场景提供了数据底座和计算能力,极大提升了现网运维效率。
GES在此过程中也为CloudMap提供了数据底座,助力其挖掘关联数据,释放数据的潜在价值。目前,GES图引擎已经在智能运维、数据血缘、制造业物料管理、金融反欺诈、社交推荐、企业关联关系等多个业务场景支撑客户达成客户业务目标,未来GES会探索更多业务场景,帮助更多客户和开发者使用图,用好图,并取得业务成功。
如需更多了解,请关注:
关注#华为云开发者联盟# 点击下方,第一时间了解华为云新鲜技术~
华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云
天分享的这五个是用于智慧政务 舆情分析 智慧社区h5大数据大屏显示网站模板,包含了工商办税大数据监控平台,土地交易大数据可视化平台,综合分析平台等,具体得查看下面具体的说明,喜欢请转发,私信我获取下载地址。
一.工商办税大数据监控平台模板
基于echars某某市某某区办税渠道运行状态大数据监控平台管理页面模板。工商行政办税服务数据统计投屏网页模板。
二.土地交易大数据可视化平台模板
科技、星空背景数据可视化后台管理页面,大数据统计后台首页,数据概览页面、后台管理、echarts、动态数字增长、css3循环滚动
三.舆情分析h5大屏模板
html5炫酷的大数据统计界面模板,舆情分析管理系统页面,公安监控大数据系统。基于echarts统计图表,警情警力分析、人口分析、人口活动情况、舆情分析、交通情况监测分析等5个页面ui模板。
四.智慧社区h5大屏模板
基于html5 echarts实现的智慧小区大数据分析平台前端页面,智慧物业/智慧停车/社区电商/安防设备/设备报修及投诉建议大数据统计页面模板。
五.h5综合分析平台大屏模板
漂亮的大数据统计分析HTML页面,蓝色科技范大屏系统管理界面模板, 通用的大数据展示主页模板html5下载。
下载方法:转发关注,私信我。
欢迎关注云码素材,交流分享! 云码素材原创作品,更多精品资源下载,技术分享请关注,私信云码素材!
家在做一些平面设计、文档编辑或网站页面的时候,经常会用到一些背景图片,但网上下载的背景图片有时不能满足实际需求,自己动手制作需要较高的美术功底,相关的制作软件也难以快速上手。其实借助一些云服务,通过简单设置就可以生成各种纹理图片、指定规格的站位图、有爆炸效果的图片以及纯CSS形态的背景图。
一、创建指定大小的占位图
我们在制作网页或者编辑文章的时候,经常都需要使用到占位图。这样可以在网页或文档制作完成后,根据实际的使用环境来替换需要的图片。那么如何快速制作出指定大小的占位图呢?
首先通过浏览器打开placy.org这个云服务,在打开页面的右侧就可以进行参数的设置。在PLACEHOLDER的区域里面,分别设置图片背景的宽度和高度,接下来在“Background color”参数中设置背景颜色的色号。然后可以根据自己的需要,来选择是否在图片中显示需要的文字,如果需要的话那么就要勾选上下面的TEXT选项。
首先在Caption选项里面输入需要的文字信息,文字信息输入完成后需要按下回车键,才可以在图片中进行显示。然后再根据提示,分别设置字体的类型、大小、形态和颜色等信息(图1)。所有的参数设置完成以后点击下面的“Get Placeholder”按钮,在弹出的对话框中就可以看到PNG、JPG 和 SVG三种不同图片格式的选项。
用户可以根据自己的需要进行选择,选择后点击“Download placeholder”按钮,就可以完成这个占位图的下载(图2)。另外,如果用户是进行网页设计,那么可以直接调用对话框中的代码信息,将其插入到自己编写的网页代码当中,从而可以非常方便的在网页中直接显示占位图。
二、创建波浪形的背景图片
现在有些手机的桌面是一种波浪效果的图片,看上去非常的不错。如果用户也想生成类似的图片,那么可以试一试“Wicked Backgrounds”这个生成器。通过它用户只需要在其中设定几个简单的参数,就可以立即生成需要的背景图片。首先通过浏览器打开它的官方网站wickedbackgrounds.com,点击网页中的“Launch Editor”按钮后就进入到生成器的编辑页面。该页面分为左右两个部分,在左侧主要是几个参数的设置区域,而右侧则是生成图片的预览区域。
首先点击左侧列表中的“Pick a color”选项,该服务默认使用的是深蓝色的主色调,点击该选项后在弹出的调色盘中根据自己的需要,利用鼠标点击来选择自己需要的主色调(图3)。点击“Angle”选项可以调整波浪的强度。点击“Color mode”可以选择图片的显示模式,默认选择的是Lighten浅色模式,用户可以根据需要选择深色模式或变色模式。点击“Contrast”选项可以调整波浪的不规则强度等等。
每当用户对一个选项进行操作后,在预览区域就可以实时显示出对应的效果。另外由于该服务默认是让图片呈横向显示,如果用户想将图片设置为手机桌面,那么可以点击预览区域上方的“Vertical Preview”选项,这样就可以将图片呈纵向显示。除此以外,点击“Full HD”选项还可以看到更多的尺寸参数,用户可以根据自己的需要来进行参数的选择(图4)。当所有设置完成后点击左侧列表最上方的“Downlaod”按钮,就可以完成图片的下载操作。
三、更加个性化的爆炸图片
如果用户觉得波浪图形的效果一般,那么还可以试试bbburst这款生成器。它可以快速生成具有爆炸效果的图片,不仅可以给用户一种更强烈的视觉效果,也更加适用于背景或者封面等环境。
首先通过浏览器打开它的官方网站fffuel.co/bbburst/,在生成器页面的opacity参数中,可以通过滑杆来调整图片的透明度参数。滑杆越左透明效果越差,而滑杆越右透明效果越好。接着在amount参数中设置图形的密度,同样滑杆往左密度越小滑杆往右密度越大。然后在下面有一个“blur edges”的选项,通过它可以设置图片不同区域的模糊效果。比如选择center选项就代表图片四周模糊而中间清晰,而选择“top left”选项就代表左侧清晰而右侧模糊(图5)。
接下来在网页下方可以看到“fill 1”、“fill 2”这样的列表,其中一个选项就代表一个图片中的图
案。在默认状态下生成器已经生成了五个不同的图案,用户可以通过生成器上方的预览图来进行查看。如果觉得不满意的话,可以点击图案后面的删除按钮,将默认的图案进行删除。然后再点击下面的加号按钮,这时生成器会自动创建一个颜色。当然用户也可以对颜色的色号进行修改,来设定自己需要的颜色,然后在右侧窗口中选择一个对应的图案即可(图6)。
所有的参数设置完成以后,点击页面右下角的randomize按钮,就会随机生成一个爆炸效果的图片。当用户通过预览图感觉满意后,点击右下角的Save按钮,就可以下载一个SVG格式的图片。当然也可以点击copy按钮,将其直接复制到系统的剪切板里面,这样就可以粘贴到其他的编辑器里进行二次加工。由于生成的是SVG格式的图片,即使是随意的进行放大操作,也不会出现任何模糊的情况。
关注我的头条号@爱玩软件的蓑草,了解最详细的电脑技巧!
*请认真填写需求信息,我们会在24小时内与您取得联系。