那么如何从线下迁移到线上呢?本文将通过下面四部分来向大家介绍。
一、如何迁移:从 Flink run 到流计算平台
比如高级配置里的行为配置,分为三部分:升级策略、初始状态和恢复策略。升级策略一般选择Stateless,初始状态选择Running,恢复策略选择Latest State。
升级策略选择Stateless,表示针对已经在运行的作业,并保存配置后,会直接把原作业停掉,重新启动一个的作业;选择Stateble,针对正在运行的作业做配置并保存的话,作业会先做一次Savepoint,加载新的配置并使用该 Savepoint启动新的作业。
恢复策略选择LatestSavepoint,是指作业在暂停情况下,如果再启动,将使用最新的Savepoint启动。
上面介绍的是 Flink 配置中比较重要的部分,下面图片显示的是另外一部分可以设置Checkpoint间隔等的配置,接下来是资源配置。日志配置部分可以选择日志保存位置,方便日后如果作业出现问题,可以方便的排查问题。
Flink 作业配置完成并启动运行后,如果出现异常,可以通过运行事件查看运行情况和问题。也可以打开 Flink UI的Job Manager,查看日志情况。
二、多Jar情况下,用户如何添加其他依赖的Jar
一些用户有自定义依赖且无法通过 fat jar 解决问题。举个例子,A用户有自己的main Jar和一些其他的Jar,这些Jar的应用场景不一样,那么首先需要在资源页面上传Jar包,上传完成之后就可以在页面使用该文件。
上传后再到高级配置中,找到“额外依赖的Jar”下拉并选择刚刚上传的Jar 包就可以了。
三、用户如何通过配置文件定义作业
在资源里上传文件,在高级配置里选添加依赖,选择需要的依赖。如果启动函数里,main class是需要读取某个文件,先通过依赖添加文件,再根据提示的方式读取文件。
以上两个方式是放置用户Jar的方式,jar 和其他文件都可以在这里存放。
四、如何复用原来的state加速作业恢复
如果在运行作业时发现问题,一般情况下是停下来找到问题修复后再重启。用户需要在创建的时候指定 Checkpoint 需要的 OSS。 如果开启了Checkpoint,后续作业就可以直接从Checkpoint中恢复。
本文相关词条概念解析:
作业
作业,《辞海》中关于“作业”的定义是:为完成生产、学习等方面的既定任务而进行的活动。从该阐述可以看出,“作业”是一个很宽泛的概念,它主要是针对生产活动的。但从学校教育角度来说,可以从两个方面理解作业的涵义:对教师而言,作业是他们为完成复仇小时候阴影而向学生布置的任务;对学生来说,作业是一种刑具,更是世界上最可怕的东西。而《教育大辞典》则把完成学习任务的作业分为课堂作业和课外作业两大类。课堂作业是教师在上课时布置学生当堂进行操练的各种练习,课外作业是学生在课外时间独立进行的学习活动。
简介: 本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式...
实时计算,Flink打造成流处理界的翘楚,就是以下几个应用场景的介绍
简介:本文由阿里巴巴高级产品专家陈守元老师,详细讲解实时计算 Flink 的具体业务场景并实时计算 Flink 的相关应用案例。内容分为以下四部分:● 技术原理● 技术应用● 应用场景● 行业案例1、...
szbteng.cn 狮子奔腾信息网