如何迁移,Flink,到流计算平台

2021-01-21 14:46    来源:互联网    编辑:小狐    浏览量:629

那么如何从线下迁移到线上呢?本文将通过下面四部分来向大家介绍。一、如何迁移:从 Flink run 到流计算平台比如高级配置里的行为配置,分为三部分:升级策略、初始状态和恢复策略。升级策略一般选择St

如何迁移,Flink,到流计算平台(图1)

那么如何从线下迁移到线上呢?本文将通过下面四部分来向大家介绍。

如何迁移,Flink,到流计算平台(图2)

一、如何迁移:从 Flink run 到流计算平台

如何迁移,Flink,到流计算平台(图3)

比如高级配置里的行为配置,分为三部分:升级策略、初始状态和恢复策略。升级策略一般选择Stateless,初始状态选择Running,恢复策略选择Latest State。

如何迁移,Flink,到流计算平台(图4)

升级策略选择Stateless,表示针对已经在运行的作业,并保存配置后,会直接把原作业停掉,重新启动一个的作业;选择Stateble,针对正在运行的作业做配置并保存的话,作业会先做一次Savepoint,加载新的配置并使用该 Savepoint启动新的作业。

恢复策略选择LatestSavepoint,是指作业在暂停情况下,如果再启动,将使用最新的Savepoint启动。

上面介绍的是 Flink 配置中比较重要的部分,下面图片显示的是另外一部分可以设置Checkpoint间隔等的配置,接下来是资源配置。日志配置部分可以选择日志保存位置,方便日后如果作业出现问题,可以方便的排查问题。

如何迁移,Flink,到流计算平台(图5)

Flink 作业配置完成并启动运行后,如果出现异常,可以通过运行事件查看运行情况和问题。也可以打开 Flink UI的Job Manager,查看日志情况。

如何迁移,Flink,到流计算平台(图6)

二、多Jar情况下,用户如何添加其他依赖的Jar

一些用户有自定义依赖且无法通过 fat jar 解决问题。举个例子,A用户有自己的main Jar和一些其他的Jar,这些Jar的应用场景不一样,那么首先需要在资源页面上传Jar包,上传完成之后就可以在页面使用该文件。

上传后再到高级配置中,找到“额外依赖的Jar”下拉并选择刚刚上传的Jar 包就可以了。

如何迁移,Flink,到流计算平台(图7)

三、用户如何通过配置文件定义作业

在资源里上传文件,在高级配置里选添加依赖,选择需要的依赖。如果启动函数里,main class是需要读取某个文件,先通过依赖添加文件,再根据提示的方式读取文件。

以上两个方式是放置用户Jar的方式,jar 和其他文件都可以在这里存放。

四、如何复用原来的state加速作业恢复

如果在运行作业时发现问题,一般情况下是停下来找到问题修复后再重启。用户需要在创建的时候指定 Checkpoint 需要的 OSS。 如果开启了Checkpoint,后续作业就可以直接从Checkpoint中恢复。

如何迁移,Flink,到流计算平台(图8)

如何迁移,Flink,到流计算平台(图9)

本文相关词条概念解析:

作业

作业,《辞海》中关于“作业”的定义是:为完成生产、学习等方面的既定任务而进行的活动。从该阐述可以看出,“作业”是一个很宽泛的概念,它主要是针对生产活动的。但从学校教育角度来说,可以从两个方面理解作业的涵义:对教师而言,作业是他们为完成复仇小时候阴影而向学生布置的任务;对学生来说,作业是一种刑具,更是世界上最可怕的东西。而《教育大辞典》则把完成学习任务的作业分为课堂作业和课外作业两大类。课堂作业是教师在上课时布置学生当堂进行操练的各种练习,课外作业是学生在课外时间独立进行的学习活动。

延伸 · 推荐

从,Storm,迁移到,Flink,实时数仓架构设计

简介: 本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式...

实时计算,Flink打造成流处理界的翘楚,就是以下几个应用场景的介绍

简介:本文由阿里巴巴高级产品专家陈守元老师,详细讲解实时计算 Flink 的具体业务场景并实时计算 Flink 的相关应用案例。内容分为以下四部分:● 技术原理● 技术应用● 应用场景● 行业案例1、...

相关资讯

相关评论

推荐阅读

对于梅西续约一事,梅西真的不建议续约

对于梅西续约一事,梅西真的不建议续约
据相关新闻报道,梅西与巴萨当前暂停了续约谈判,从梅西角度是厌倦了与争吵,但是从巴萨层角度,续约的难点就一个字:钱!两个字:成本!三个字:性价比!梅西续约众所周知本届巴萨层的财务和做帐能力那是出了名的,
02-26

9.1分,C罗终于赢了梅西,C罗全场最佳,C罗怒吼庆祝

9.1分,C罗终于赢了梅西,C罗全场最佳,C罗怒吼庆祝
北京时间7月5日凌晨,19/20赛季意甲第30轮焦点战,尤文图斯4-1击败都灵,C罗此役传射建功,赛后拿到9.1分的高分!最近一场比赛,梅西打进个人职业生涯第700球,获评8.9分。这一次,C罗终于赢
02-26

实时计算,Flink打造成流处理界的翘楚,就是以下几个应用场景的介绍

实时计算,Flink打造成流处理界的翘楚,就是以下几个应用场景的介绍
简介:本文由阿里巴巴高级产品专家陈守元老师,详细讲解实时计算 Flink 的具体业务场景并实时计算 Flink 的相关应用案例。内容分为以下四部分:● 技术原理● 技术应用● 应用场景● 行业案例1、
12-31

今天就轮到元宵佳节,比奶茶强十倍

今天就轮到元宵佳节,比奶茶强十倍
农历新年一过,情人节过完不久,今天就轮到元宵佳节,这个和爱情、团圆相关的节日,又怎能少了甜品呢。玫瑰花已然是情人节的标配;而诗人一句“此物最相思”就把红豆定位成了相思豆。这个元宵( 地点-杭州)外面稀
02-26

回归理性,年薪涨幅最大的新外援,他将成为真正的最高年薪外援

回归理性,年薪涨幅最大的新外援,他将成为真正的最高年薪外援
旧人离去,新人已来,2021赛季的中超联赛将迎来了一批新外援,可以说,各队在外援引进方面已经趋向于理想和追求性价比了。尽管不少新来的外援在实力上无法与中超最鼎盛时期的外援相提并论,但他们依然能成为新东
02-26

选秀能压东契奇,哪些方面限制了他潜力的兑现

选秀能压东契奇,哪些方面限制了他潜力的兑现
马文-巴格利三世在2019-20赛季停赛之前为国王效力期间并没有完全兑现自己所拥有的天赋潜力,正因为如此这也很大程度上限制了他在场上时能为这支国王所带来的影响。病问题的困扰,这也导致在2019-20赛
02-26

基于,Flink,数据湖的数据

基于,Flink,数据湖的数据
Apache Flink 是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时,会碰撞出什么样的火花呢?本次主要包括以下核
12-04

入秋后,吃一口就不想吃第二口,热乎暖胃,甜到流油,还不易胖

入秋后,吃一口就不想吃第二口,热乎暖胃,甜到流油,还不易胖
快要进入秋冬时节了早晚都是凉飕飕的风尤其是冬天,每次下班路上都看到有人 拉着小车卖烤红薯浓浓的香味冒着白烟,应景袭来哪怕是刚吃完饭也会忍不住买一个尝尝红薯被烘烤得咧着果皮,蜜油渗出小心撕开焦香的外皮香
10-26

而期间梅西打进了16粒任意球破门,已经有931天,C罗用这两记世界波作为回应

而期间梅西打进了16粒任意球破门,已经有931天,C罗用这两记世界波作为回应
北京时间7月4日,意甲联赛第30轮,35岁C罗任意球破门,尤文主场4-1战胜都灵,4连胜后以7分领跑意甲积分榜。在赛后,C罗接受《意大利天空体育》采访时直言:“我需要用一记任意球,来帮助我找回信心。”
02-26

3.0容器平台优势,管理云原生应用的分布式操作系统

3.0容器平台优势,管理云原生应用的分布式操作系统
“混合云正在发生变化,随着云计算的普及,企业为了避免云厂商锁定,采用多个云厂商的服务或者产品。于是,新的问题产生了,企业如何在异构平台上无缝、部署和迁移其应用。以前混合云是面向资源的,现在面向应用了。
12-31

热点资讯

精彩推荐

热门美图

网站地图

szbteng.cn 狮子奔腾信息网