云计算的可信新边界:边缘计算与协同未来
日期: 2020-12-11 分类: 跨站数据 442次阅读
微服务架构的设计思想是把每个核心的能力设计得更加内聚、更加独立、可以很小的依赖系统环境,可以分散在各个机器、部署到容器,可以灵活的编排和管理。技术的演进,系统架构的演变支撑了边缘计算技术的诞生、落地和应用的可能。
物联网和人工智能逐渐的发展,物已不再单纯是一个物,可以联网,可以数据流动,而不再固化、静态。物与人,人与物,数据的流动、分析可更好的反馈于物、服务于人、反馈于环境,安全、有效、低时延的智能分析服务需要边缘计算来支撑。
通讯技术的发展,5G的时代是万物互联、人、环境、虚拟和现实之间的场景,是客户端节点接入数量和接入带宽翻十倍、百倍甚至更多的场景,是海量数据由边缘产生的场景。据IDC预测,到2025年全球联接总数达到1000亿,联接的背后会是数据的爆炸,集中式处理模型下核心网无法承载这么大数据的网络传输,数据也无法在云中心存储计算,需要更快速、近距离的在网络边缘分析、处理与存储,边缘计算市场规模将达数十万亿元。
在现今的云市场,云计算的巨头依托先发优势大力发展边缘计算,将云计算技术下沉到边缘侧,下沉的云计算不一定非要由云服务商来提供,大型IT服务商都可独立开发边缘框架,只要能够连接云服务,谁都可以提供给边缘服务。工业企业依托丰富的工业场景,也在开展边缘计算的实践;电信运营商为迎接5G的市场机遇,全面部署边缘节点,为布局5G基础设施打好基础。
伴随云计算的飞速发展,边缘计算将迎来爆发式的增长 …
边缘计算【Edge Computing】
先看个例子了解下边缘计算的特征,章鱼是地球上最魔性的动物,也是非脊椎动物中最聪明的生物类群之一,拥有巨量的神经元,60%分布在章鱼的八条腿上,仅有40%在大脑,因此它的触角有独立思考能力且反应敏捷,在捕猎时异常灵巧迅速,腕足之间配合极好,从不会缠绕打结,形成类似分布式计算的“多个小脑+一个大脑”组合。
边缘计算就好比章鱼的触角,类属于一种分布式计算,从云端下沉到端口附近,也是计算的下沉,在靠近物和数据源头的一侧就地分析处理,融合网络、计算、存储、应用的分布式开放平台。提供最近端服务,更快服务响应,满足在实时、智能、安全与隐私保护等方面的基本需求。
维基百科中,边缘计算被定义为一种分散式运算架构,即将应用程序、数据资料与服务的运算,由网络中心节点移往网络逻辑上的边缘节点来处理,将原本完全由中心节点处理的大型服务加以分解,切割成更小与更容易管理的部分,分散到边缘节点去处理。边缘结点指的是在数据产生源头和云中心之间任一具有计算资源和网络资源的结点。比如手机就是人与云中心之间的边缘结点,网关是智能家居和云中心之间的边缘结点。
边缘计算架构层次上分为终端设备、边缘、云端三层,各层之间可以进行层间和跨层通讯。
终端层由各种设备组成,主要完成收集原始数据并上报的功能,以事件源的形式作为应用服务的输入。边缘计算层由网络边缘节点构成,广泛分布在终端设备与计算中心之间,边缘节点的计算和存储资源是差别很大的,且边缘节点的资源动态变化,边缘计算层通过合理部署和调配网络边缘侧的计算和存储能力,实现基础服务响应。云计算仍是最强大的数据处理中心,边缘计算层的上报数据将在云计算中心进行永久性存储,边缘计算层无法处理的分析任务和综合全局信息的处理任务也仍然需要在云计算中心完成。
亚马逊开创了边缘计算的先河,推出了AWS Greengrass功能软件;微软发布了Azure IoT Edge边缘侧产品,将云分析扩展到边缘设备,支持离线使用,同时聚焦边缘的人工智能应用;谷歌推出硬件芯片Edge TPU和软件堆栈Cloud IoT Edge,可将数据处理和机器学习功能扩展到边缘设备,使设备能对来自其传感器的数据进行实时操作,并在本地进行结果预测。
国内阿里推出了Link IoT Edge平台,通过定义物理模型连接不同协议、不同数据格式的设备,提供安全可靠、低延时、低成本、易扩展的本地计算服务;华为推出了IEF平台,通过将云上应用延伸到边缘的能力,联动边缘和云端的数据,提供完整的边缘和云协同的一体化服务的边缘计算解决方案。在制造业,海尔、树根互联等依托丰富的工业场景,推出了各自的云边协同平台,帮助用户快速构建工业互联网应用,实现各类工业设备的快速接入…
边缘计算具备六大特征:低延时、自组织、可定义、可调度、高安全、标准开放。
边缘计算 Vs 云计算服务
云计算是人和计算设备的互动,而边缘计算则属于设备与设备之间的互动,最后再间接服务于人。边缘计算可处理大量的即时数据,而云计算最后可以访问这些即时数据的历史或者处理结果并做汇总分析, …
云计算的聚合服务模式
云计算服务是一种集中式服务,所有数据通过网络传输到云计算中心进行加工处理。资源的高度集中与整合使得云计算具备高通用性,可集中式解决计算和存储问题。在万物互联背景下,网络边缘的设备数量和产生的数据呈爆发式增长,其聚合性服务模式无法高效、即时处理边缘侧数据,显示了此种模式的不足与场景适应性问题。
l 实时性问题: 在需要精确到毫秒级的响应场景,时效性的延迟可能带来不可预知后果。处理速度受制于网络带宽、中心计算能力、总计算任务量等多因素,请求至响应的链路累计时延可能造成无法接受的处理时延。
l 带宽制约与不足:将大量边缘侧数据传送至云中心,产生巨大的网络带宽压力。
l 资源开销、能耗过大: 传输的开销,数据中心处理的任务、存储的大幅增长,造成极多能源消耗,成为限制云计算中心发展的瓶颈。
l 数据安全和隐私:数据与用户生活密切相关,智能终端设备如室内智能摄像头,将数据传输到云端容易导致数据丢失或信息泄露等风险。
边缘计算的不同之处
1) 由于部署的边缘站点更靠近终端用户,传输更安全,数据处理更即时,有效改善了高延迟和连接不稳定的问题;
2) 可实现边缘站点的大量扩展,将部署的边缘设备分布在相比于传统大型数据中心而言更多的、不同的位置,有更多的节点来负载流量,使得数据传输速度更快。同时更分散的节点所产生的影响更小,解决了设备散热问题;
3) 边缘计算可能需要使用专门的硬件,比如用于AR/VR功能的GPU/FPGA平台;
4) 掌握边缘站点的具体位置及识别访问链接在何处终止十分重要,一个需要靠近用户进行运行的应用需要在正确的边缘部位方可正常运行;
5) 边缘计算架构中,整个应用池可被认为是动态的。由于其物理分离属性,某些情况下,边缘站点将通过广域网进行相互连接和核心连接,随着时间加入或断开;
6) 边缘站点是远程且无人操作,需要有对站点进行间歇性网络访问的相应工具来实现远程管理;
7) 边缘站点支持从大至数据中心,小至单个设备的不同站点数量和规模;
8) 边缘站点可能受空间或电源要求等的资源限制,或向现有站点添加容量时也可能受到限制;
9) 一些用例需要大规模的多租户
10) 减小了对网络的依赖,离线状态下也能提供基础业务服务,确保“外部云”域不会影响服务。
云、边计算的相似之处
边缘计算类似于云计算(数据中心),体现在:
1). 都包括计算、存储和网络资源;
2). 其资源可由用户和应用共享;
3). 从资源池的虚拟化和抽象化受益;
4). 其发展得益于商品硬件的支持 ;
5). 使用API来支持互操作性.
两者归于整体与局部关系
边缘计算的出现是为弥补现阶段云计算所面临的一些短板,配合、促进云计算的发展。边缘计算与云计算之间不是替代关系,而是互补协同关系。两者需要通过紧密协同工作才能更好的满足各种需求场景的匹配,从而放大边缘计算和云计算的应用价值。
边缘计算可归结为广义云计算的一部分,泛指云厂商为客户完成的IT服务,是云计算的补充和延伸。简而言之:云计算把握整体,边缘计算更专注局部。
云计算擅长全局性、非实时、长周期的大数据处理与分析,能够在长期维护、业务决策支撑等领域发挥优势;而边缘计算更适用局部性、实时、短周期数据的处理与分析,能更好的支持本地业务的实时智能化决策与执行,为云端提供高价值的数据。
如果说云计算是集中式大数据处理,边缘计算则可理解为边缘式大数据处理。不同的是数据不用再传到遥远的云端,在边缘侧就能解决,更适合实时的数据分析和智能化处理,较单纯云计算更加高效且安全!两者实质上都是处理大数据的计算运行的一种方式。
边缘计算中终端设备与云计算中心的请求与响应是双向的,终端设备不仅向云计算中心发出请求,同时也能够完成云计算中心下发的计算任务。云计算中心不再是数据生产者和消费者的唯一中继,终端设备兼顾数据生产者和消费者的角色,部分服务直接在边缘完成响应并返回终端设备,云计算中心和边缘分别形成了两个服务响应流。
边缘计算的可信价值
边缘计算是一种在网络边缘执行计算任务的新型计算模型,相比于云计算,它能够节省网络流量、提高响应速度和保护用户隐私,在物联网应用中显示出了优于云计算的性能。核心是将计算任务从云计算中心迁移到产生源数据的边缘设备上, 操作对象包括来自于云服务的下行数据和万物互联服务的上行数据。随着相关技术的发展,边缘计算将成为推动物联网服务升级的关键技术。
边缘计算的优势
1) 分布式和低时延计算
整合了数据采集、处理、执行三大能力,避免了数据上传下达所产生的时延弊端,提升了本地设备的处理能力和响应速度,带来了综合成本的减少、运维效率的提升。
2) 效率更高
由于边缘计算距离用户更近,在边缘节点处实现了对数据的过滤和分析,因此效率更高
3) 降低带宽限制的影响
在网络边缘处理大量临时数据,不再全部上传云端,极大减轻了网络带宽和数据中心功耗的压力
4) 更加智能化
AI+边缘计算的组合出击让边缘计算不止于计算,更多了一份智能化
5) 缓解流量压力
在进行云端传输时通过边缘节点进行一部分简单数据处理,可减少从设备到云端的数据流量
6) 更加节能
云计算和边缘计算结合,成本只有单独使用云计算的39%。
7) 提高数据的安全性
边缘计算将用户隐私数据不再上传,而是存储在网络边缘设备上,减少了网络数据泄露的风险,保护了用户数据安全和隐私。
8) 业务数据可靠性
基于安全的数据才会有可靠的业务,边缘计算本身不把数据传向云端,在广域网发生故障的情况下,也能够实现局域范围内的数据服务,进而实现本地业务的可靠运行。
9) 应用开发多样化
未来会有一半以上的数据在其源头进行处理,也会有诸如工业制造、智能汽车、智能家居等多样的应用场景,用户可以根据自己的业务需求自定义应用。
边缘计算的能力
体现(不仅限于)在以下方面.
1) 跨不同基础设施间的一致操作模式
2) 在全球范围内数千个地点的大规模分布环境中的执行能力
3) 为位于全球偏远地点的客户提供网络服务
4) 满足应用程序集成、协调和服务的交付要求
5) 打破硬件限制,降低成本
6) 实现有限或间歇性网络连接
7) 可处理具有严格低延迟要求的应用程序(AR/VR、语音等)
8) 实现地理围栏,保证敏感隐私数据仅留在本地
边缘计算的业务价值
主要体现对客户端的减负和控制上,让很多过去无法想象的业务具有可行性。
1) 硬件设计更灵活
5G边缘网络可能比本地磁盘等零部件速度更快,这是从未有过的新变化。给客户端做减负,最终用户能感觉到流畅度提升和电量提升,部分用户还会为此付费;能让客户端和边缘端融合,甚至影响到硬件设计,比如买手机会考虑闪存空间比扩充内存合算,当文件从集中分散到就近边缘,客户读取网络文件的速度不比本地慢,就无需配置更贵的闪存。当网盘的数据大到无法下载到手机时,客户换新机时也得尽可能用同一品牌同一账户迁移。给客户端的计算压力减负最终让客户端的硬件设计方式发生改变。对于手机来说,试水新硬件常是一次冒险,厂商在设计硬件时,如可以将某些功能放到边缘端,将会获得巨大灵活性。
2) 改变应用发布生态
边缘计算可从软件控制层面改变整个客户端软件生态,技术上可以将客户端的运算功能全部放在边缘端,本地仅保留一个视频播放器。如此带来客户端的分发渠道的变化,也许困扰单机软件几十年的盗版问题可通过边缘视频化来解决。随着边缘APP的访问流畅性逐步得到验证,边缘视频流天然比本地文件更保密安全和方便控制,各种在线系统的使用体验会和本地软件一样。
3) 单一应用留住客户
当一个APP可以all in one其他APP时,用户的访问轨迹不会跳出该APP,给产品运营提供了新的想象空间。现在用户在某视频APP里做游戏和电商引流,转跳到电商和游戏后APP就结束了,未来完全可以购买同一样东西不出本APP,参与内购分成、改变商业规则。
4) 对技术部门的价值
将CS架构改变CES架构,是具有价值并有挑战的IT技术工作。
移动互联网的发展历程中,应用传输和娱乐化迫使成本在不断增加,集中的云计算又再次走向边缘,通过在靠近物或数据源头的网络边缘侧,融合连接、计算、存储、应用等核心能力,就近提供边缘智能服务,满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。
"云、边、端"协同一体化
边缘计算是对云计算的拓展,两者关系就好比人类的"大脑"与"遍布全身的神经系统",相辅相成,缺一不可。作为云计算的延伸,边缘计算本着“为云分担”的任务和使命而运作,解决了在边缘端的资源应用问题,成为云计算在未来发展中的重要支撑。“云边协同”成为边缘计算的核心能力与发展方向——边缘向云反馈信息,云向边缘发布指令等,完成上传下达,实现共存协同式的调度、命令、搜集、处理、计算、更新等工作。
以物联网场景为例,物联网设备产生大量数据,边缘计算节点可以负责自己范围内的数据计算和存储工作。由于大多数的数据并非一次性数据,那些经过处理的数据仍需要从边缘节点汇聚集中到中心云,中心云做大数据分析挖掘、数据共享,并进行算法模型的训练和升级,升级后的算法(推理模型)应用于前端边缘节点设备,完成自主学习闭环。同时,存储边缘的数据具备备份的需要,当边缘计算过程中出现意外,存储在云端的数据也不会丢失。
协同一体化模式
“端”和“云”的边缘形态,涵盖端的边缘计算,而“云”的边缘计算是中心云的拓展外延,可视为边缘节点服务,以此构建云-边-端三体网络架构。
边缘云中大量、多种边缘服务器和边缘终端需通过边缘云来统一管理,并实现对边缘应用的支持。中心云则管理多个边缘云和为边缘云提供充足的虚拟化资源,中心云由大量的服务器虚拟化组成,可提供持久化存储和为需要大计算量的应用提供资源,如大数据,AI应用等。中心云通过管理网络来控制边缘云,并提供安全的连接。边缘云在网络发生中断时仍可通过独立的资源管理系统进行“自治管理”。
中心云与边缘云的关系如图,中心云管理多个边缘云平台,工业PC和大量的网关,而边缘云则通过边缘网关接入各种设备、传感器等。
- 云计算是根本:纵观几大云服务商的边缘计算产品,从配置到部署,无一不是从云端下发配置信息和工具到边缘侧,实现本地服务。
- 核心框架属于云服务商: 云边一体的边缘计算框架,本质上是下沉了一系列精简的云服务工具,而这些工具为了保障通讯的私密性,一般都掌握在云服务商手中,用户和开发者无法修改。
- 生态建设:围绕云边一体化产品,所有的生态都必须先在云端注册,在云端传送数据后下沉到边缘侧,而互动的逻辑可通过无服务器计算服务实现。
通过云原生技术可实现云 - 边 - 端一体化的应用分发,解决在海量边、端设备上统一完成大规模应用交付、运维、管控的诉求;云原生技术可提供容器等更加安全的工作负载运行环境,及流量控制、网络策略等能力,可有效提升边缘服务和数据的安全性;依托云原生领域强大的社区和厂商支持,云原生技术对异构资源的适用性逐步提升,在物联网领域已能很好支持多种 CPU 架构(x86-64/arm/arm64)和通信协议,并实现较低的资源占用。
… …
多维度协同主体
当用户从一个边缘节点移动到另一个就涉及多节点的协作,可简单将数据缓存到用户到达的各个边缘节点,不过各节点的数据需要同步。如在一小片区域内导航应用可以将导航或者搜索服务移动到边缘;在边缘节点进行内容过滤与整合从而减少数据传输量;实时应用如AR可以使用边缘节点减少反应时间。
云边协同包含云端与边端IaaS、PaaS、SaaS的协同,IaaS 实现对计算、网络、存储、虚拟化资源等的协同;PaaS 实现数据、智能、应用编排、业务管理协同;SaaS 实现应用服务协同。在IaaS资源、PaaS平台、SaaS应用的协同基础上还需考虑计费、运维、安全等方面的协同。云边协同的联合式服务能充分利用两者的联合优势,针对不同特征的业务需求进行灵活的部署与响应。融入边缘计算的云边协同联合式服务将成为更有效的服务构架。
边缘协同任重道远,需从多维度解决:
1) 连接协同: 连接设备数量的剧增,网络运维管理、灵活扩展和可靠性保障面临挑战,以及如何兼容多种连接且确保连接的实时可靠是必须要解决的现实问题。
2) 数据协同: 统一数据连接和数据聚合是业务智能的基础,解决多样化与异构的技术和标准的问题,离不开跨厂商、跨领域的数据集成与互操作。
3) 任务协同: 任务的下达和反馈是实现应用场景功能的基础,云端面对海量的边缘侧设备和复杂的应用环境,如何将任务准确完整下达到边缘侧;边缘侧设备通过边缘计算后,如何将有效信息整合到任务中进行反馈,是云边协同能力的重要指标。
4) 管理协同: 云端如何对海量和异构的边缘侧设备的接入进行统一和有效的管理;如何对边缘侧设备和云端的应用开发、生命周期、业务管理进行协同,确保边缘侧设备和运算能共同完成某应用场景的管理工作。
5) 安全协同: 边缘侧的设备和产生的数据接入云端的安全和隐私如何保证,云端如何抵御来自边缘侧的攻击,云端下放到边缘侧的数据如何保证安全 …
6) 多方协同: 边缘计算和云计算协同应用场景越来越多,越来越复杂,如何在同一应用场景中实现云边、边边、多边协同等多方协同方案,成为需着重考虑的问题;如何统一不同应用场景中的云边、边边、多边协同也是另一个重要的方面。
协同以云为中心逐层分散延伸,涉及到云边、边边和边端三部分。
1) 云与边之间网络有两个关键点:虚实结合、动态选路,云边网络就是回云的安全和加速网络。
2) 边边网络需保障上层应用使用的边缘节点之间数据传输透明且安全。涉及两关键词:Fullmesh和安全加速。Fullmesh表示边边网络实现的边缘节点之间的直接通讯,无需通过中心绕道,是基于由众多边缘节点构建的分布式传输加速网络来克服互联网的数据传输稳定性、跨运营商的传输速度瓶颈等问题。
3) 端-边网络:运营商本地接入网络在用户接入侧,端侧具有不可撼动的强大优势,所以边缘计算一定要与运营商形成合力,基于运营商本地基础设施网络构建节点形成与端的连接,实现接入流程一体化,将更多计算能力汇聚。
云原生向边缘端复制
云边端协同一体化作为一个标准化构想,分三个层次将云原生能力向边缘端复制:
· 第一个是能够在云端提供标准化的接口、管控能力,或是标准的云服务和云资源的接入能力.
· 第二个是能高效的管理处在整个边缘端的众多资源,其中包括边缘端应用的运维效率问题;
· 第三个是典型的 IoT 场景中的端设备。
边缘云计算服务是将传统云计算与边缘计算相结合,形成“云-边-端”协同的计算架构。边缘计算的核心,是将计算任务从云计算中心,迁移到产生源数据的边缘设备上,较之传统云计算,其安全性更高、低时延、减少带宽成本。边缘计算和云计算相互促进、共同发展、相互融合,在中心端学习,在边缘端执行来处理复杂的问题,在处理好安全性、带宽、复杂性等方面的问题后,云边协同势必在生产中占据举足轻重的位置,大放异彩!
边缘计算平台的架构
伴随行业发展,边缘计算正在成为云计算的新边界,而规模和复杂度的日益提升对边缘计算的效率、可靠性、资源利用率等一系列能力提出了新的诉求,核心诉求包括:
· 资源、应用管理诉求;
· 容器化和微服务化;
· 标准的 API 和工具链;
· 安全,数据 / 信道加密和认证授权
· ……
诉求的背后是对边缘计算平台架构的目标问题和能力提出了指引,对云边协同一体化平台的设计提出了指导方向:支持对物理世界具有系统和实时的认知能力,在数字世界进行仿真和推理,实现物理世界与数字世界的协作;基于模型化的方法在各产业中建立可复用的知识模型体系,实现跨行业的生态协作;系统之间、服务之间等基于模型化接口进行交互,实现软件接口与开发语言、工具的解耦;框架可以支撑部署、数据处理和安全等服务的全生命周期。
本章节以下部分从通用、分层技术架构,以及具体开源KubeEdge平台展开.
通用平台产品架构
云边协同的联合式网络结构一般可分为终端层、边缘计算层和云计算层,各层可进行层间及跨层通信,各层的组成决定了层级的计算和存储能力,从而决定了各个层级的功能。
终端层由各种物联网设备(如传感器、RFID标签、摄像头、智能手机等)组成,主要完成收集原始数据并上报的功能,以事件源的形式作为应用服务的输入。
边缘计算层由网络边缘节点构成,广泛分布在终端设备与计算中心之间,可以是智能终端设备本身(如智能手环、智能摄像头等),也可以被部署在网络连接中(如网关、路由器等)。显然,边缘节点的计算和存储资源差别大且动态变化,因此如何在动态的网络拓扑中对计算任务进行分配和调度是值得研究的问题。边缘计算层通过合理部署和调配网络边缘侧的计算和存储能力,开放API, 实现基础服务响应。
云计算是强大的数据处理中心,边缘节点不稳定,核心数据、核心应用需存放云端以确保应用的稳定、数据的安全,边缘计算层无法处理的任务和全局信息的处理也仍需在云计算中心完成。除此,云计算中心还可根据网络资源分布动态调整边缘计算层的部署策略和算法。
通用架构模型
如图所示,基础服务层贯通整个框架,数据全生命周期服务提供对数据从产生、处理到消费的综合管理。纵向来看,最上侧是模型驱动的统一服务框架,实现服务的快速开发和部署。下侧分为设备、边缘和云层,边缘层划分为边缘节点和边缘管理器。边缘节点的形式、种类多样,解决异构计算与边缘节点的强耦合关系,降低物理世界带来的结构复杂性,设备资源被抽象为计算、网络和存储三种资源,使用应用API实现通用的能力调用, 控制、分析与优化领域模块实现了上下层信息传输和本地资源规划。边缘管理器使用模型化的描述语言帮助不同角色使用统一的语言定义业务,实现智能服务与下层结构交互标准化。根据功能,提供了4种开发框架:实时计算、轻量计算、智能网关和智能分布式系统,覆盖从终端节点到云计算中心链路的服务开发。
边缘计算通用服务分层栈
在基础设施之上,边缘计算涵盖四层技术栈,一是边缘硬件和芯片,二是边缘计算平台或边缘计算操作系统,三是边缘中件间,四是面向边缘的应用或服务。边缘计算和云、端形成一体化的协同模式,开放API赋能上层应用生态。边缘计算的技术形态可划分为IaaS、PaaS和SaaS:
l IaaS: 主要在边缘侧提供资源虚拟化。建立大规模分布式边缘算力融合调度平台,融合虚机、容器、函数、流式计算等计算形态,屏蔽各个边缘硬件与网络环境的异构差异,无缝支持各类边缘资源,为规模覆盖的云边一体化计算提供底座能力支持。
l PaaS: 传统虚机方式的运维成本往往居高不下,比如机器的地域分布、网络差异等会带来不小运维成本,难以进行快速的业务切换调度。就需要有个边缘场景的PaaS服务来帮助用户管理和调度边缘的资源,容器和K8s是一个不错的架构选择。
l SaaS: 服务种类较多,包括边缘智能、边缘应用市场、边缘中间件(消息、缓存等)、边缘软硬一体机(数据智能、通用一体机等)。这些服务都可通过边缘容器应用市场获取。
l 在基础设施层,其实是基于复杂的、异构的基础设施进行资源拉通。
l 在芯片/设备方面,边缘计算采用通用、专用和自研芯片解决面向场景的计算成本问题;
l 在边缘计算平台方面着力打造边缘操作系统,提供三种计算形态(虚机、容器、函数)和三种交付形态(Server、Serverlet、Serverless),为客户营造一个利于使用的计算环境;
l 对于边缘中间件,从原本“内容分发的调度”转变为“计算的调度”,同时叠加AI、存储等技术,逐步形成面向城市应用场景的独特中间件能力;
l 至于上层的边缘应用及服务,则需结合整个生态和垂直行业伙伴共同推动技术进步。
硬件层提供的是物理机,硬件的网关包括AI盒子,可能只是一个很小部分,它需要组网也需要通信的模组,包括智能硬件。再往上层是通用计算、GPU,包括简单的PAAS,上面有一些目前本地计算需要的比如边缘引擎、边缘网关、调用中台,定位为边缘计算平台。再往上要承载整个边缘计算提供的服务,这个服务有组件还有SAAS服务。再往上是整个智能运用的场景。
云原生与边缘计算
无论从边缘应用的分发,可靠性还是边云协同的机制上,云原生边缘计算有利于让边缘也具备像云一样的“弹性”,让应用可以“顺滑”的部署到边缘,保持应用在边缘与云端的一致性。“云-边-端”就像一个完美的整体,用户无需感知边缘设备的复杂分布。
l 通过将AI、大数据能力等延伸到边缘,解决与云上服务的数据协同、任务协同、管理协同、安全协同诉求。
l 通过数据本地化处理、边缘节点离线自治,解决了云边之间的网络可靠和带宽限制问题
l 通过大幅优化边缘组件的资源占用,解决边缘资源的约束问题
l 通过在云边之间构建的双向多路复用通道,解决从云端管理高度分布的海量节点和设备;
l 南向支持对接物联网主流通信协议(MQTT,Bluetooth,Zigbee),解决异构硬件接入问题。
传统嵌入式本地计算和云原生边缘计算的对比差异如下:
云原生EdgePaaS架构
作为云上边缘托管服务底座,支持海量边缘网关节点接入,深度融合IoT云端市场、云端FaaS、消息、运维等服务。通过容器化和K8s的调度能力,传统IoT业务拥有了强大的日志、监控、自动扩缩容等运维能力,并且运维能力在云中心汇聚。
阿里云将边缘计算当成云计算整体的一部分进行规划和设计,基于飞天系统构建。底层是资源层,上面是服务平台,既可部署在运营商基础互联网里,也可部署在客户侧。Link IoT Edge可让计算就近发生,是连接最后1公里的物联网边缘计算平台,支持包括函数计算、流式计算、规则计算等计算引擎。发布的连接最后10公里的边缘节点服务(ENS),帮助用户将计算、转发等业务下沉至边缘,降低了时延和成本。如可把终端到边缘节点的时延缩小到5毫秒之内,终端到云的访问频次将减少80%,计算、存储、网络等成本可节省30%以上。
云原生是一个大的体系,做到真正的边缘原生需要从理念、系统设计、架构设计等方面真正的去实践、实现,才能充分发挥边缘的优势。当然,边缘云平台也要具备和提供更多的开放能力,形成整个正向的开发生态闭环。
KubeEdge平台架构
华为云提出基于Kubernetes扩展的云边协同开源项目—KubeEdge, 在边缘计算领域的布局涉及“云、管、边、端、芯”。作为一个智能边缘平台,KubeEdge包含边端的计算节点部分和云端的管理控制部分,其云边协同体现在:
1)基于WebSocket和Quic协议构建了可靠、高效的云边消息通信,并作为云边控制协同、数据协同的通信基础;2)扩展了Kubernetes,实现云边协同编排管理,包括基于云端的边缘控制器 EdgeController等控制Kubernetes API服务器与边缘节点、应用和配置的状态同步,支持直接通过kubectl命令行在云端管理边缘节点、设备和应用;3)提供了DeviceTwin 模块,实现边缘计算节点下挂的边缘设备与云端设备管理之间的同步和控制。
KubeEdge即Kube+ Edge,使能边缘计算,依托K8s的容器编排和调度能力,实现云边协同、计算下沉、海量设备的平滑接入等,将K8s优势和云原生应用管理标准延伸到边缘。为云和边缘之间的网络,应用部署和元数据同步提供基础架构支持。技术架构上分为云、边、端三个部分,云端负责云上应用和配置的校验、下发,同步Edge的状态和事件;边缘侧负责运行边缘应用和管理接入设备,接受并执行Cloud部分下发的指令,管理各种负载;设备端侧运行各种边缘设备。KubeEdge完整的打通了边缘计算中云、边、设备协同的场景,整体架构如下图。
Edged: 管理边缘的容器化应用程序。
EdgeHub: 边缘的通信接口模块,是一个Web套接字客户端,负责边缘计算与云服务的交互。
CloudHub:云端通讯接口模块,一个Web套接字服务器,负责监视云端的更改、缓存以及向 EdgeHub发送消息。
EdgeController:管理边缘节点,是一个扩展的Kubernetes控制器,管理边缘节点和pod元数据,以便数据可以面向特定的边缘节点。
EventBus:使用MQTT处理内部边缘通信,是一个MQTT客户机,可与MQTT服务器交互,为其他组件提供发布和订阅功能。
DeviceTwin: 是处理设备元数据的设备软件镜像,该模块有助于处理设备状态并将其同步到云上。它还为应用程序提供查询接口,后端使用轻量级数据库(SQLite)。
MetaManager: 管理边缘节点上的元数据,是Edged和Edgehub之间的消息处理器,还负责在轻量级数据库(SQLite)中存储/检索元数据。
极致优化,All in K8s
由于边缘场景通信的不稳定性和严苛的资源消耗限制,导致原生的K8s组件无法直接运行在边缘节点上,例如:工业网关等。而受限于K8S本身list/watch机制带来的disconnect问题,数据面和管理面断连后,无法做到本地自治。KubeEdge选择“轻边缘”架构,即边缘侧的容器引擎和设备管理agent尽量轻量化,管理面运行在云端,且构建在K8s的调度能力之上,兼容K8S原生API。KubeEdge all in K8s的设计理念使得用户可以围绕K8S的标准API定制需求或轻松集成云原生生态中的成熟项目。
ServiceMesh到EdgeMesh
服务网格已演变为云原生堆栈的重要组成部分。在云原生模型中,单个应用程序可能包含数百个服务,每个服务可能有数千个实例,且这些实例中的每一个都可能处于不断变化的状态,合理管理使用ServiceMesh对于确保端到端的性能和可靠性至关重要。当纯粹的计算在边缘转向云边协同,以云原生的方式构建一个跨越边缘和云端的分布式系统至关重要:
l 边缘应用需要有完善的微服务治理能力,以满足日趋复杂的边缘业务模型;
l 边云、边边的协同成为边缘应用的基本要求,以满足海量边缘数据的处理。
使用EdgeMesh可支持跨越边界的微服务访问,EdgeMesh特性基于标准的Istio进行服务治理控制,引入EdgeMesh-proxy负责边缘侧流量转发以及P2P技术跨子网通信,提供云-边、边-边通信,最终实现跨越边云的一致的服务发现和访问体验。
边缘设备访问微服务化
Kubernetes提供的设备插件框架, 旨在通过Kubelet管理“绑定”在节点上的硬件,如:GPU、FPGAs、InfiniBand等,为Pod中的容器应用提供更强的计算和网络性能。而KubeEdge的设备管理关注的是与边缘通信的外部设备,如:蓝牙终端、智能传感器、工业设备等。KubeEdge对设备管理的实现采用Operator方式,并实现了设备孪生。设备管理Operator的核心是Device CRD和Device Controller,其中Device CRD用来描述设备的状态等元数据,Device Controller运行在云上,负责在云和边之间同步设备状态的更新(包括设备实际状态和用户设定的期望状态)。
云边通信
涵盖cloud端的cloud Hub与edge端的Edge Hub,两个模块之间通过websocket或quic通信,相当于建立了一条底层通信隧道,供k8s和其它应用通信。重点保障当之间的链路都无法保障时业务不受影响,这就是MetaManager需要解决的问题。
CloudHub
cloud端的cloudHub是一个隧道的server端,用于大量的edge端基于websocket或者quic协议连接。支持获取消息上下文和为事件构建 channelQ对象,支持从edge读和向edge写入消息,以及发布消息到controller。
EdgeHub
位于edge端运行,是隧道的client端,负责将接收到的信息转发到各edge端的模块处理;同时将来自个edge端模块的消息通过隧道发送到cloud端。
Route To Cloud / Edge
边缘端
Edged
通过读取metaManager和EdgeController的pod任务列表,来执行对本地pod的操作,管理其生命周期。pod关联的configmap和secret也会随着处理pod的过程而一并处理。保障cloud端下发的pod以及其对应的各种配置、存储(函数式计算)能在edge端稳定运行,并在异常之后提供自动检测、故障恢复等能力。
EventBus/ServiceBus/Mappper
设备相关的设备管理侧,支持外部以MQTT和Rest协议接入,对应EventBus和ServiceBus。EventBus是一个MQTT broker客户端,主要将edge端各模块通信的message与设备mapper上报到MQTT的event做转换;而ServiceBus对应Rest接入时的转换。IoT的各种设备可能直接支持MQTT,但有的只支持蓝牙或其他近场通信协议。Mappper可以实现将各种协议转换为对MQTT的订阅与发布,从而实现与edge端的通信。
Eventbus消息交换
Mapper Engine
为避免edge引入大量处理边缘设备通信代码,同时保持整个项目良好的易定制性,KubeEdge设计了一个边缘设备驱动统一管理引擎Mapper,一个用于连接和控制设备的应用程序,支持设备终端通过蓝牙、ModbusTCP、ModbusRTU协议与Edge平台通讯。Mapper作用如同CRI之于K8s,CRI作为Kubernetes定义的容器接口与底层容器引擎打交道,而Mapper作为一个开放接口方便不同的设备协议接入KubeEdge这个边缘计算平台。有了Mapper的解耦层,用户可方便地根据实际需要开发自己的Mapper来实现与特定设备的通信。
MetaManager
在edged和edgehub之间的消息处理器,对应一个本地数据库(SQLite),其他模块需与cloud端通信的内容都会被保存到本地DB中,当需查询数据时,如果本地DB中存在该数据就会从本地获取,避免了与cloud端之间频繁的网络交互;在网络中断的情况下,本地的缓存数据也能保障其稳定运行(如智能汽车进入到没有无线信号的隧道中),在通信恢复之后,重新同步数据。
示例:Insert Operation
DeviceTwin
“数字孪生”指对接入设备信息的特征描述。DeviceTwin就是将这些信息保存到本地DB中,并处理基于cloud端的操作来修改device的某些属性(即操作设备);同时,将设备基于eventBus上报的状态信息同步到本地DB和cloud端。
云端Controller
包括用于edge端与API-Server同步信息的edgeController与用于DeviceTwin与API-Server同步device CRD信息的deviceController组成。
Edge Controller
1) Sync add/update/delete event to edge
2) Sync watch and Update status of resource and events
3) Creates manager Interface
l Manager defines the Interface of a manager, ConfigManager, Podmanager, secretmanager implements it
l Manages OnAdd, OnUpdate and OnDelete events which will be updated to the respective edge node from the K8s-Api-server
l Creates an eventManager(configMaps, pod, secrets)
Device Controller
负责设备管理,使用CRDs来描述设备元及状态信息,在edge和cloud之间保持同步。设备控制器使用设备模型和实例来执行设备管理工作,如把用户设定的设备孪生期望状态和配置下发到边缘,而在边缘的组件则要接收并处理这些信息。KubeEdge设备管理的工作流程如下图所示:
Downstream Controller
The downstream controller watches for device updates against the K8S API server, Synchronize the device updates from the cloud to the edge node.
Syncing Desired Device Twin Property Update From Cloud To Edge
The device controller watches device updates in the cloud and relays them to the edge node. These updates are stored locally by the device twin. The mapper gets these updates via the MQTT broker and operates on the device based on the updates.
Upstream Controller
The upstream controller watches for updates from the edge node and applies these updates against the API server in the cloud. Synchronize the device updates from the edge node to the cloud using device twin component.
Syncing Reported Device Twin Property Update From Edge To Cloud
EdgeSite: 边缘侧独立集群
在边缘测,业务场景需要配置一个独立完整的集群, 管理者或用户能使用本地控制面来执行管理功能和充分利用所有边缘计算的优势。EdgeSite用于帮助在边缘侧构建轻量化的集群。
Architecture Design
Advantages
1) Full control of Kubernetes cluster at edge
2) Light weight control plane and agent
3) Edge worker node autonomy in case of network disconnection/reconnection
4) All benefits of edge computing including latency, data locality, etc.
运维与监控
为提升运维效率,当边缘节点面临异常事件或故障时需及时响应,边缘节点与云监控产品对接,把边缘节点里采集到的日志和事件同步给云监控,由云监控形成与用户系统的标准化对接、通知、告警。同时用户系统可通过API管控边缘节点服务实例和资源,实现整个运维体系的闭环。云监控支持对节点网络事件、割接事件、实例状态和迁移的通知,支持节点网络MTR指标、实例资源占用指标等自定义阈值报警,并可通过IM、邮件、短信等通道触达用户,全面赋能边缘节点服务极简、高效运维。
应用场景及适应性分析
边缘计算、云计算与5G商用的融合,支持海量机器通信,促进以智慧城市、智能家居等为代表的典型应用场景与移动通信深度融合,正加速推动工业互联网、能源、自动驾驶、安防监控、农业生产、医疗保健、零售、物联网等领域相关技术在垂直行业中的应用和落地。对于大部分边缘计算业务,云边协同的业务需求普遍存在。
边缘计算主要应用场景
新零售应用
可为门店、物流点提供安防视频解决方案,低成本接入不同厂商设备,提供实时预览、录制回看、截图、分析等能力,实现了视频安防云联网,提高了工作效率,促进生产安全,减少盗损资产损失. 同时,边缘计算提供的视频AI计算能力,支持计算资源弹性扩容满足业务突发增长,降低大量本地部署、运维和管理成本。新零售场景下的视频监控,产生了大量的视频,通过边缘节点一系列处理后将结构化数据发送到中心,节约成本,大幅缩短处理时间.
移动互联网的发展让我们得以在移动端流畅的购物,我们的购物车以及相关操作都是依靠将数据上传到云中心才能得以实现。如果将购物车的相关数据和操作都下放到边缘结点进行,将极大提高响应速度,增强用户体验,通过减少延迟来提高人与系统的交互质量。
边缘计算与交通
设备连接到边缘节点,可以做数据的清洗分发,包括数据建模、机器学习,可以实现自己的应用。这个过程非常短且延时很低,直接网络相连。比如说收费、停车这类监控情况。
举个例子,比如现在需要AI的一个最新算法,是一个车辆预测的。在可能有1000个车辆预测的节点布了边缘节点,现在只要在云端把这个算法训练之后,一键同步到所有的边缘计算节点,可以立马更新算法,可以在最近的边缘节点做计算的更新,涉及多数据源的融合、实时的分析、集中管理包括数据打通。
车路协同是智慧交通的重要发展方向之一,涉及车内边缘计算、道路边缘计算、车路协同云等方面,云边协同可从多方面提供车车、车路动态实时信息交互,并开展车辆主动安全控制和道路协同管理。在自动驾驶方面,成千上万的自动驾驶数据上传到云端,在云端进行图像分析,并进行机器学习,完善汽车AI能力,当汽车停放或未被使用时,汽车AI从云端获取系统和导航地图等更新信息,同时云端与交通控制系统和其它智慧城市基础设施连接,这些信息也会同步下载到汽车终端,完善汽车终端系统。例如百度智能汽车通过基础云服务、用户APP、地图数据、OEM方案,打造HMI人机交互平台,提供自动驾驶系统解决方案。
在线教育场景
5G时代带来的是一场视频传输的革命,高质量视频通话使在线互动变得更加触手可及,能最大限度还原线下教学的真实感,同时更高清晰度的互动课堂中,教师可以对学生起到更好的观察和督促作用,使学习效率和效果双重提升。借助于云计算、边缘计算、实时音视频通信以及直播平台、AI等技术,不管学生在任何地点,只要有手机或电脑,在线教育平台就可以把最优秀的老师带来他的身边.
智能建筑、家居
智能网联技术的兴起,无论是办公室、零售店、工厂还是医院,智能建筑都变得更加高效、舒适、便捷,为居住者带来独特的体验。智能建筑将自动化操作与空间管理相结合,可有效增强用户体验、提高生产力、降低成本以及网络安全风险。建筑物生命周期中75% -80%的成本与其后期运营有关。现在很多商业住宅和办公大楼都有自动化控制或管理系统,例如通暖、中央空调以及嵌入传感器的智能照明系统等,它们都能与云平台或边缘层级的主系统交互。
云边融合正走入家庭,逐步促进智能家庭场景的实现。家庭网关、智能终端等边缘计算节点可处理大量异构数据,再将数据上传至云平台。在智能家居中除了可连接的设备,还可在房间、管道、地板、墙面等部署大量传感器和控制器。未来,智能家庭将不局限于智能家居,还能与家庭医疗、家庭安防等相结合。云边协同使电器控制、安全保护、视频监控、定时控制、环境检测、场景控制、可视对讲等家庭智能化功能得以实现,同时使政务、医疗、教育等产业进一步丰富家庭智能化信息服务成为可能。
智能安防、监控
视频安防监控中通过在边缘的视频预分析和AI推理执行,实现视频监控场景实时异常事件的感知及快速处理,而在云端发挥云端算力、开发工具的优势,完成AI模型的训练以及AI分析应用的开发并按需下发给边缘部署。边缘计算与AI、云计算的结合能在前端实现本地决策、实时响应,执行人脸识别、车牌识别、行为检测等多种本地应用。
工业互联网场景
工业互联网发展正进入快车道,通过设备互联、多类型传感器和边缘计算,实现数据采集、处理,达到云边协同式传输和处理效果,越来越多的工业互联网场景对云计算在边缘端的特殊需求逐步增多。针对预测性维护,除了云端的统一控制外,工业现场的边缘节点必须具备一定的算力,能够自主判断并解决问题,及时检测异常情况,更好的实现监控,在提升工厂运行效率的同时也能预防设备故障问题。企业通过边缘端将处理后的数据上传到云端进行存储、管理、态势感知、信息的融合;同时,云端也负责对数据传输监控和边缘设备使用进行管理。
一些大型工业企业已着手建设一站式云边协同平台。如海尔COSMO-Edge平台提供多元的边缘设备接入能力与边缘计算能力,提供设备即服务的应用模式,帮助用户快速构建工业互联网应用,实现数字化生产;长虹IMES平台在工厂网络边缘层实现工业现场的数据接入,提供数据采集、数据分析等服务,构建云-边协同化的生产管理体系。
移动边缘计算
MEC最初指移动边缘计算,后来概念扩展为多接入边缘计算。MEC是电信蜂窝网络与互联网深度融合的缩影,通过MEC可较好地降低移动设备与服务器之间的时延,提升游戏、视频和基于数据流的互联网内容的用户体验。5G架构从设计之初将边缘计算作为关键环节,5G时代业务处理功能依托边缘计算下沉到基站,数据传输时延可大幅降低。目前运营商正在加速推进MEC部署。
城市大脑场景
城市计算将会是边缘计算的最大场景,扎根于城市服务好本地应用,如社区、园区、运输中心、学校小区、商超、行政中心等,可充分发挥边缘计算的价值。未来城市将存在大量摄像头、传感器,如何把这些数据及时分析,对城市治理形成帮助是一个非常大的命题。比如在市政、交通场景中,把从学校、餐饮、医院的数千万摄像头采集的视频汇聚、传输到城市边缘计算平台,数据在边缘节点进行有效收敛、AI及结构化处理,关键性数据再回传到中心云。
计算下沉边缘的模式比直接上公有云可以很好节省回源带宽,相比专有云可以提升交付效率和降低运营成本。在某些典型场景中,网络带宽成本占的比例是占到57%,这是非常大的成本,经过边缘计算的数据收敛之后,带宽可以做到原来的5%,对总成本节省可以到54%。
解决交通、医疗、健康、新零售这类场景的业务诉求,有两种思路,一种把计算设施放在商超、工厂、企业里,这种为重资产模式;另外一种是云模式,把计算设施放在基站以上并向企业提供服务。阿里云在布局边缘计算的时候重点依托CDN的点位优势布局基站以上的边缘计算,后续通过引入MEC资源,充分释放计算红利,让企业可以轻装上阵。目前阿里云已完成国内30多个省份300+边缘计算节点的全域覆盖。
其它典型场景
l 能源:电力、石油石化等传统能源行业中,信息化接入设备多、信息量大、业务周期峰值明显,云计算技术的虚拟化、资源共享和弹性伸缩等能更好处理对象广泛及业务峰值问题。边缘计算能在偏远、极端环境下进行本地处理,并将加工后的高价值数据与云端交互。
l 农业生产:云边协同可推动农业供给端的变革,由经验主导向数据主导转变,通过智能化手段将人的经验传递给机器,通过数据挖掘,可发现新的生产规律和农业商品优化的新空间。
l 医疗保健:药师直接且负责任地提供与药物治疗相关的服务,目的是达到改善病人生命质量的确切效果,云边协同从实时本地数据分析、数据断点续传、数据安全传输等方面让医生为患者提供更快、更高的护理。
l 边缘AI: 未来设备无需一直连接云端来完成AI运算,实现“智能边缘计算”。边缘人工智能作为不可缺失的支撑技术将取代一部分云平台功能。亦可采用混合方式,一部分由设备自身执行AI计算,另一部分通过云平台完成。算法开发者通过标准化的AI服务模板,模型托管、资源托管、一键完成AI在边缘的应用。
l 云桌面、云游戏:也属本地化很强的业务场景。边缘计算可大幅降低企业平台在IT设施上的投入,简化运维管控。新时代的云游戏利用云边协同快速扩张,游戏研发、硬件设备商、通信设备商、游戏平台将基于自身优势从不同角度切入,实现万亿云游戏市场突破。
l CDN 结合边缘计算:向下一代内容分发平台演进,将vCDN 下沉到运营商的边缘数据中心,降低响应时延、降低延迟卡顿,提升Qos指标,提高用户体验。
l . . .
场景适应性分析
不同边缘计算系统具有不同的需求和均衡,决定了适合该应用场景的最佳形态。以下给出一组参数并分析了典型边缘计算平台在这组参数下的特点和性能。
1) 邻近度:边缘层与设备层之间的邻近度包含两层含义。一是逻辑上的邻近度,代表边缘层基础设施与终端设备之间的路由跳数,跳数越多代表路由中遭遇拥塞的机会越大,延迟增加的可能性也越大。二是指物理上的邻近度,取决于终端设备与边缘层的物理距离和边缘计算设备的性能。如果在单个边缘计算节点的一跳服务范围内,存在大量终端设备且已超过单个边缘计算节点的服务容量,将导致边缘计算设备拒绝服务,带来大量服务延迟。
2) 接入方式:设备到边缘层的连接方式有多种,如Wi-Fi、蓝牙、蜂窝网络和有线连接等。接入方式决定了终端设备到边缘计算层的带宽、延迟、连接范围以及对连接的设备类型。
3) 环境感知:是将网络参数和周围设备的位置信息暴露给附近的边缘节点,是物联网应用的一个关键参数。移动边缘计算服务器通过放置在无线网络控制器附近,实现检测网络的链路状况、负载以及带宽,接收终端设备的位置信息,因此其感知能力极强。
4) 功耗:如果终端设备处于资源受限的环境中,能耗将是边缘计算的一个重要参数。蜂窝网络带来的能量消耗远高于Wi-Fi的能量消耗,因此移动边缘计算的能量消耗高于Cloudlet。可以根据需求在多种接入方式中灵活选择,实现最优的能耗表现。
5) 计算时延和服务能力:直接取决边缘计算节点的计算能力和资源调度策略。移动边缘计算和Cloudlet采用资源丰富的专用主机作为服务节点,具有显著优势。EdgeX Foundry通过容器和GO语言的轻量级特性,兼容不同性能设备,并按需提供计算服务。
6) 部署与运维:在边缘计算平台的管理和监督中,每个平台均遵循分层管理方法,通常监督节点作为代理,负责与底层节点通信并收集底层节点可提供的资源和状态。但不同边缘计算平台在代理设置和分层的界定均有不同。
边缘计算的机遇与挑战
随着5G及互联网智能终端设备数量的急剧增加和数据、业务下沉的诉求增多,边缘计算规模和业务复杂度已发生很大变化,边缘智能、边缘实时计算、边缘分析等新型业务不断涌现。
边缘是一个相对云计算中心的概念,意味着边缘计算的网络覆盖面广,需要多种资源的协同工作,并且需要与云计算架构实现良好的对接,因而面临着众多挑战。
边缘设备种类多且数据协议相差大。比如Modbus、OP CUA包括DL645,在边端硬件规格不同,ARM的、X86的包括各种各样的AI盒子;体系结构也不同,整个的操作系统其实也不一,软件基础环境不同;还有物理环境,可能在家,工厂或随便某个地方;网络环境也会有大不同,边缘计算现运行环境大多为弱网环境,网络不稳定导致丢包,如何去兼容;通信协议多,怎么适配这些协议;公有云的能力如何快速跟边端打通,去保证边端的易用性,这个对架构是一个很大挑战。
对大规模资源平台的运营和运维支撑,将复杂度、稳定性等问题封装,实现上层业务透明化对边缘计算来讲也十分重要。边缘计算操作系统需解决计算在哪里、如何简化计算复杂度、如何更便捷地运维分布式计算资产等。开发人员只需简单调用接口,就可广泛地使用边缘计算策略,而不用担心部署和计算在哪里。
在高度分布式模型中,边缘计算潜在问题还很多。云边端协同需要解决中心云、边缘计算以及IoT连接和计算力的协同,发挥云中心规模化、边缘计算本地化与低成本、IoT终端感知等各方面优势,为客户提供最合适、最经济的“上车点”,即计算发生的位置。从云到端将云计算能力下沉到边缘侧、设备侧,通过中心统一交付、运维、管控,粘合云计算核心能力和边缘算力,在边缘基础设施之上构筑云计算平台,面临问题与挑战。
协 同 : 云边端协同缺少统一的交付、运维、管控标准。
异 构 : 对不同硬件架构、规格、通信协议的支持,以及基于异构资源、网络、规模等差异化提供标准统一的服务能力。
网 络 : 边缘网络的可靠性和带宽限制;
更 新 : 边缘计算要执行数据采集、程序更新、设备管理和监控、机器学习模型更新等高级功能,而且这些功能需要复制到所有边缘节点和集群,需要一定程度的自动化服务和工具来支撑。
管 理 : 传统数据中心使用的管理策略和实践通常不适用于边缘部署,边缘部署分布在多个位置,比传统数据中心更具动态性。承担这样一个系统的业务管理是一项复杂的任务。
架构及灾备:边缘计算需要小型化计算架构,云计算基本上可做到的单节点内几十万台机器之间灾备,边缘节点跨节点灾备是需要解决的不小问题。
成 本 :云提供可扩展性且易于配置,具有自动化和弹性,但在边缘提供这些特征昂贵且复杂。
安 全 :通过多个节点和设备将云和数据中心扩展到边缘,可能会成倍增加网络攻击面。不安全的设备和边缘节点,可能成为企业网中有价值资产的非法侵入点,或被用于其他恶意目的,如分布式拒绝服务攻击。边缘服务和数据的安全风险控制难度高,维护边缘层所有资产的实体和网络安全是一项复杂而关键的任务。
值得研究推进的方案
为使边缘计算能在参考框架指导下成功应用于各行业场景,以下对面对的挑战提出一些值得进一步研究的解决方案,涉及可编程、命名、数据抽象、服务管理、隐私和安全,及性能指标优化。
编程可行性
云有特定的编译平台,在云计算平台编程非常便捷,大部分程序都可在云上跑,云计算的基础设施结构对用户来说是透明的。但边缘计算下的编程就会面临平台异构问题,每一个网络的边缘都不一样,有可能是ios,安卓或者linux等,不同平台下的编程又是不同。计算任务分到各种不同平台的边缘节点上。不同节点运行时不同,程序开发者面临着巨大的困难。
为解决可编程性问题,提出了计算流的概念,计算流是数据传播路径上的函数序列/计算序列,可通过应用程序指定计算发生在数据传播路径中的哪个节点。计算流可以帮助用户确定应该完成哪些功能/计算,以及在计算发生后如何传播数据。通过部署计算流,数据的计算应尽可能靠近数据源,从而减少数据传输成本。在计算流中,操作可以重新分配,对应的数据和状态也要重新分配。此外还要解决协作问题,如数据同步等。
命名机制
每个物体都应有唯一的人类可读名字,便于服务管理、物体判断、部件更换。这种命名机制对于用户和服务提供者来说十分方便。与所有的计算机系统类似,在边缘计算中,命名方案对于编程、寻址、事物识别和数据通信非常重要,但还没有行之有效的数据处理方式。边缘计算的命名方案需要处理事物的移动性,动态的网络拓扑结构,隐私和安全保护,以及对于大量不确定物体的可扩展性等问题。传统命名机制如DNS、URI都不能很好解决动态的边缘网络的命名问题。目前提出的NDN解决此类问题也存有一定局限性。
数据抽象
在物联网异构环境中会有大量的数据生成,且生成的数据格式多种多样,数据格式化对边缘计算来说是一个挑战。边缘的大部分事务只是周期性的收集数据,定期发送给网关,而网关存储有限,因此边缘结点的数据会被经常刷新。利用集成的数据表来存储感兴趣的数据,表内结构可以用id、时间、名称、数据等来表示。数据可以被应用程序读写和操作,由于边缘设备的异构性,导致数据库的读写和操作会存在一定的问题,设备的多样性带来数据的呈现方式与相应的操作都会有所差异,找到一种通用的数据抽象方式也并非易事。
服务管理
边缘结点的服务管理应该有以下特征,包括可区分性、可扩展性、隔离性和可靠性。
可区分性:网络边缘上部署多个服务,不同服务应具有不同优先级,关键服务如物体判断和故障报警应在其它普通服务之前执行。对于健康相关服务,心跳停止检测应该具有最高优先级。
可扩展: 对于网络边缘来说是一个较大挑战。相对于移动系统,物联网中的物品都是动态的,向物联网中添加或删除一件物品都不是那么容易,服务缺少或增加一个新结点能否适应都是待解决的问题,这些问题可以通过设计一个灵活可扩展的服务管理层来解决。
隔离性:指不同的操作之间互不干扰。例如有多个应用可以控制家庭里面的灯光,控制灯光的数据是共享的,当某个应用程序不能响应时,使用其他应用程序依然能够控制灯光。也就是说这些应用程序之间相互独立,互相没有影响;隔离性还要求用户数据和第三方应用是隔离的,即应用不应能跟踪用户数据并记录,为解决该问题,应添加一种全新的应用访问用户数据的方式。
可靠性:可从服务、系统和数据三方面来阐述。服务方面,网络拓扑中任意节点的丢失都有可能导致服务不可用,如边缘系统能提前检测到具有高风险的节点那么就可避免。较好的一种实现方式是使用无线传感器网络来实时监测服务器集群。从系统角度来看,边缘操作系统是维护整个网络拓扑的重要一部分内容,节点之间能互通状态和诊断信息,这种特征使得在系统层面部署故障检测、节点替换、数据检测等十分方便。从数据角度,可靠性指数据在传感和通信方面可靠,边缘网络中的节点有可能会在不可靠时报告信息,比如当传感器处于电量不足的时候就极有可能导致传输的数据不可靠。为解决此类问题可能要提出新的协议来保证物联网在传输数据时的可靠性。如果数据和通信不可靠,提供可靠的服务将是一个挑战。
隐私和安全
在网络边缘,数据隐私和安全保护是一个重要服务。如果物联网应用部署在家庭中,用户的大量隐私数据会被收集,比如可以通过读取电量和水量使用数据判断家中是否有人。因此如何在不涉及隐私的情况下提供服务也是一个问题。有些隐私信息可以在处理数据之前剔除,例如遮蔽视频中的面部。为保证数据的私密性,可从以下方面来确保:
1,提高对数据隐私和安全的意识,所有的利益相关者包括服务提供者,系统和应用开发者以及终端用户都需要意识到用户隐私有可能会受到侵害。如果不加防护的话,摄像头,健康监测器甚至WIFI都可能被他人连接
2,在网络边缘处理数据,让数据留在产生数据的地方可以更好地保护隐私。这样数据只会在本地被存储、分析和处理,由用户决定是否提供给服务提供者。
3,对于不同的应用设置权限,对私密数据的访问加以限制。
4,边缘的网络是高度动态化的网络,易受攻击,不好防护。需要有效的工具保护各种数据在网络中的传输。
最优化指标
边缘计算中节点众多且不同节点的处理能力不同,因此在不同节点选择合适的调度策略非常重要。可以考虑在每层均匀分配负载或在每层完成尽可能多的任务,极端情况下完全在端点操作或完全在云端操作。为选择最佳的分配策略,下面讨论几个优化指标,包括延迟,带宽,能耗和成本。
延迟: 是衡量性能的最重要指标之一,特别是在交互式应用或服务中,延迟并不单由处理能力决定,也要结合数据在网路中传输的时间。在智能城市案例中,譬如要寻找丢失的小孩信息,在本地手机处理后把结果返回给云将明显加快响应速度。当然这种事情也有相对性,需要放一个逻辑判断层来判断把任务交给哪一个节点处理合适,如果此时手机正在处理其他重要的事情,由于手机的计算资源已被占用,此时把这种任务交给其他层次来处理会更好些。
带宽:高带宽可减少传输时间,但也意味着大量的资源浪费。数据在边缘处理有两种模式,一是数据在边缘完全处理结束后上传结果到云端;另一种是数据在边缘处理了一部分,剩下的部分交给云来处理。两种方式都能极大的改善网路带宽的现状,减少数据的传输,进而增强用户体验
能耗:对于给定任务,需判定在本地运算还是传输给其他节点计算节省资源。如本地空闲,那么在本地计算是最省资源的,如本地正在忙碌状态,那么把计算任务分给其他节点会更合适一些。权衡好计算消耗的能源和网络传输消耗的能源是一件非常重要的事情。一般当网络传输消耗的资源远小于在本地计算消耗时,会考虑使用边缘计算把计算任务卸载到其他空闲节点上,帮助实现负载均衡,保证每一个结点的高性能。
成本: 包括但不限于边缘结点的构建和维护、新型模型的开发等。利用边缘计算模型,大型服务提供商在处理相同工作的情况下能获取到更大利润。
工作分配与各衡量指标之间密切相关。 如有时由于能量限制,工作负载需要在城市数据中心完成。与构建服务器层相比,能量限制不可避免地会影响延迟。对于不同的工作负载,指标应该具有不同优先级(或权重),从而选择合理的分配策略。此外,成本分析需要在系统运行时进行,同时还应该考虑并发工作的相互干扰以及资源用量。
云原生技术的核心价值之一是通过统一的标准,实现在任何基础设施上提供和云上一致的功能和体验,云原生技术有助于实现云 - 边 - 端一体化的应用分发,解决在海量边、端设备上统一完成大规模应用交付、运维、管控的诉求;安全方面,云原生技术可提供容器等更加安全的工作负载运行环境,及流量控制、网络策略等能力,可有效提升边缘服务和边缘数据的安全性;依托云原生领域强大的社区和厂商支持,云原生技术对异构资源的适用性逐步提升,在物联网领域已能很好支持多种 CPU 架构(x86-64/arm/arm64)和通信协议,并实现较低的资源占用。
方向性探索及未来
工业互联网的大力推动及5G大规模商用的持续酝酿,让整个产业对IT、OT、CT的深度融合充满信心和期待,在这种背景下,边缘计算市场异常火爆。
什么业务适合在边缘
一类是终端算力上移的场景,借助5G带宽能力,把终端算力上移到边缘,具有更灵活、更经济的优势。第二类是本地化场景,无论低延时还是大连接,本地产生的大量数据需要及时消化,减少带宽成本,缩短传输时间。
阿里云定义边缘计算即城市计算,为城市提供算力基础。城市计算的场景涉及到道路计算(车路协同、交通监测)、公用事业计算(智能电网、智能环保)、消费计算(新零售、物流云)、安全计算(公共安全)和家庭计算(云游戏、VR/AR)等等。
什么业务适合部署在边缘主要还是从大流量、低延时、广覆盖、本地化这几个方面来规划,而系统平台可基于Edge容器化k8s,享受k8s技术生态环境带来的优势;对于底层基础设施不敏感,有较强的弹性伸缩需求,可使用Serverless层的边缘容器服务,极简运维,专注后台业务逻辑。
5G、边缘计算与云计算的互补结合,有望逐步培育出新的商业生态。
需要怎样的边缘计算
整体来看,企业所需的边缘计算要提供三方面能力,一是网络和资源的覆盖,保障海量边缘节点和弹性的基础设施来覆盖终端接入,二是提供边缘的基础算力,包括计算、存储、网络、安全、调度等一些基础能力,三是建立边缘远程运维体系,支持边缘应用的快速部署、升级和监控。
边缘计算不依赖于云端,弱网络条件下运行是基本功能,而数据处理能力成为新的关注点,边缘侧让物联网应用变得更加智能。物联网和AI 的深度结合成为新的趋势,边缘计算框架成为连接物联网和AI的桥梁。比如在无人机应用上,由于网络的不稳定而将图形识别能力部署在无人机上是一种可靠的选择,实现无人机智能化。在工业物联网的场合,终端接入数量过于庞大,且反馈实时性要求高,边缘计算成为工业互联网的非常重要组成部分。
业务决定把中心的哪些应用做下沉,哪些终端的能力做上移,来实现性能和成本最优解。业务架构的演进比较复杂,边缘计算平台的使命就是让事情变得简单,从而去加速5G时代的业务架构升级进程,孵化更多的创新应用。比如在云游戏这个场景下,把游戏的业务逻辑处理、数据处理以及画面渲染放在边缘,终端就不需太多配置和性能的要求,成本就可大大降低,这也是架构演进带来的突破和改变。
边缘融合的计算平台,融合是指在边缘的基础设施如MEC、IDC等资源上做融合。也有在计算形态、提供形式以及运维方面的融合。边缘节点服务需要满足业务的弹性,较强的突发需求应变能力,高资源利用率。需要DDoS防护、主机安全保障,应对软硬件故障对业务带来的稳定性风险。在提供高可靠性服务的同时可做到问题的秒级发现和处理,支持通过体系化、自动化的运维使工作效率大幅提升。
云边一体的架构会将边缘计算坚定在“云计算新边界”的理念之上。未来的IT架构必将朝着“云边端一体化协同“的方向发展,其中的核心就是边缘云原生。边缘计算新业务的开展也将和传统的中心云保持同步:Serverless、安全沙箱技术、函数计算等新的业务形态都将在边缘计算落地。
未来的边缘技术和形态
未来边缘云计算将是基于云计算的核心和边缘计算的能力,构筑在边缘基础设施之上的云计算平台。形成边缘位置的计算、网络、存储、安全等能力全面的弹性云平台,并与中心云和物联网、终端形成“云边端三体协同” 的端到端技术架构。将网络转发、存储、 计算,智能化数据分析等工作放在边缘处理,降低响应时延、带宽成本、减轻云端压力,并提供全网调度、算力分发等云服务。边缘计算将在三个方向发力:AI、IoT 与边缘计算的融合,云延伸;去中心化,设施自治,边缘托管; 5G 边缘计算引爆新增长。
推测未来的数据和计算20%发生在中心,80%发生在边缘,能在边缘处理的不会选择经过长的链路到中心。时延要求高的场景,比如自动驾驶就会优先被放在边缘。
边缘计算的发展前景广阔,被称为“人工智能的最后一公里”,但仍在发展,仍有许多问题需要解决。如框架的选用,通讯设备和协议的规范,终端设备的标识,更低延迟的需求等。未来,即便从基础设施的角度来讲,也将拥有更多基于互联网低延时、大带宽的应用场景和想象空间。
边缘计算算力其实有限,如量子计算和AI发展到一定程度,比如一个量子计算机就可为一个城市所有人去玩游戏做计算,可能有一天或许真的可以代替云的中心计算,因为在边缘就可以使用超强的计算。比如网络切片的技术,可根据不同应用来提供QoS,对网络要求不高的云的QoS服务质量就低,反之通过网络切片来提供高质量的网络服务。包括SDN, MEC边缘的多变接入,移动端、IP网络端、电视网络端,还有5G通信技术,最核心的智能芯片。
边缘计算未来的形态,像应用市场一样去使用边缘计算,比如视觉分析、语音识别、智能分析的算法、游戏、VR、视频、直播、虚拟工厂、虚拟公路、虚拟城市,包括存储、数据中间件这些能力,通过云中心连接且安装到你的家、你行驶的路上,你的影院,你的工厂包括世界各地的边缘节点,你只需选择你把能力放到哪里,一键就会放到那个地方,在那里为你提供计算服务。你的loT设备就可无需连接云中心,在边缘节点完成你所有后台,包括计算的能力。
边缘计算的落地和推进,将加速“新基建”各领域的进步。
云边协同,未来80% 计算发生在边缘。
边缘计算把云计算更靠近生活,服务生活,让计算更有温度 !
最 后
5G和云计算的商用化普及,及企业数字化转型催生了边缘计算, 成为云计算的新边界。边缘计算拓展了云计算边界,致力于将计算能力推进到应用和场景发生的最近距离,以此构建万物互联的基础。万物智联的时代需要低时延、大带宽、高并发和本地化,云、边、端三体协同是万物智联的基本形态,最佳的行业应用解决方案。
边缘计算横跨OT、IT、CT多领域,涉及网络联接、数据聚合、AI、芯片、传感、行业应用等多个产业链,帮助不同行业和厂商之间实现互通和互操作,被称为下一代互联网的一个重要技术。物联网和移动设备的普及改变了边缘在计算范式中的角色,边缘正从单纯的数据消费者向数据生产者及消费者转变。在网络边缘、在靠近数据源的地方进行计算和处理会更加高效。
当万物智联时代到来,当传感器、摄像头成为整个社会的眼睛,我们就能更好地通过眼睛去识别环境、回传信息、智能分析,实现更智慧的城市管理。这就好比一个人的眼睛看到一个物体后马上识别出来,之后再将结构化信息传回大脑,边缘计算即如此。
未来的生活需要边缘计算,不管你见或不见,边缘计算就在那里。
把数字带入每个人,每个家庭,每个组织,构建万物互联的智能世界 ...
5G已来,边缘已来. 边缘计算,无处不在 !
点击这里→了解更多精彩内容
除特别声明,本站所有文章均为原创,如需转载请以超级链接形式注明出处:SmartCat's Blog
精华推荐