Azkaban
发表于|更新于
|浏览量:
坦诚是最明智的策略。——富兰克林
分享一个工作流框架
https://github.com/azkaban/azkaban
官方文档
Azkaban documentation! — Azkaban documentation
Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。
Features 特征
- 与任何版本的 Hadoop 兼容
- 易于使用的 Web UI
- 简单的 Web 和 http 工作流上传
- 项目工作区
- 工作流的调度
- 模块化和可插件化
- 身份验证和授权
- 跟踪用户操作
- 有关失败和成功的电子邮件警报
- SLA告警和自动杀伤
- 重试失败的作业
阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。
相关推荐
2021-06-18
html+vue组件实现阿里云OSS对接
任何问题都有解决的办法，无法可想的事是没有的。──爱迪生 问题场景：一个thymeleaf项目，上传图片、视频是直接使用Java代码保存到服务器上于是服务器压力激增，网页静态资源变得卡顿于是我们需要将图片、视频上传移植到阿里云OSS上 阿里云对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高持久的云存储服务。 一句话描述：它是一个很棒的存取文件的在线服务器 我们可以使用它进行客户端上传，文件不通过服务端也可以上传，这样减轻了我们服务端压力 我们需要一系列配置才可以对接完成，查阅阿里云OSS官方文档发现：JavaScript客户端签名直传的方式最为简单，但这种方式是有弊端的，客户端通过JavaScript把存取文件的认证信息写在代码里面有泄露的风险因此我们采用服务端签名后直传的方式进行上传文件，我们待会儿介绍~ 准备工作： 登录阿里云官网。将鼠标移至产品，单击对象存储 OSS，打开 OSS 产品详情页面。在 OSS 产品详情页，单击立即开通。开通服务后，在 OSS 产品详情页单击管理控制台直接进入 OSS 管理控制台界面。您也...
2021-04-28
不要用魔法值！！！
我来到这个世界为的是看太阳和蔚蓝色的田野。——巴尔蒙特 《阿里Java手册》中第一条编程规约下的第二条常量定义里的第一条 例如这里 我们使用了魔法值 我们改成常量则为 像是字符编码此类都有对应的常量或者枚举等 例如java.nio.charset.StandardCharsets
2024-02-29
satoken+webflux获取header以及body
你若要喜爱自己的价值，你就得给世界创造价值。——歌德 代码如下： 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980import cn.dev33.satoken.context.SaHolder;import cn.dev33.satoken.context.SaTokenContextForThreadLocalStorage;import cn.dev33.satoken.reactor.context.SaReactorSyncHolder;import cn.dev33.satoken.reactor.filter.SaReactorFilter;import cn.dev33.satoken.router.SaRouter;import jakarta.annotation.Resource;import org.j...
2024-05-03
spring提供的SQL工具类执行SQL脚本
方向是比速度更重要的追求。——白岩松 这里主要是用到了org.springframework.jdbc.datasource.init.ScriptUtils#executeSqlScript(java.sql.Connection, org.springframework.core.io.Resource)方法 例如 123456 @BeforeAllstatic void setup(@Autowired DataSource dataSource) throws Exception { JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); assertNotNull(jdbcTemplate.getDataSource()); ScriptUtils.executeSqlScript(jdbcTemplate.getDataSource().getConnection(), new ClassPathResource("init.sql"));}...
2024-08-04
HuTool 6.0LambdaUtil
家庭是用孜孜不倦的爱情的劳动建立起来的。——陀思妥耶夫斯基 介绍LambdaUtil 是一个用于处理 Lambda 表达式的工具类，提供了解析、获取信息和构建 Lambda 方法的多种功能。 使用方法介绍Lambda 获取相关方法 getRealClass 获取 Lambda 实现类。 resolve 解析 Lambda 表达式，并缓存结果。 getMethodName 获取 Lambda 表达式的函数名称。 getFieldName 获取 Lambda 表达式 Getter 或 Setter 对应的字段名称。 buildGetter 构建 Getter 方法引用。 buildSetter 构建 Setter 方法引用。 build 构建指定方法的 Lambda 引用。 toFunction 将 BiFunction 转换为 Function。 toPredicate 将 BiPredicate 转换为 Predicate。 toConsumer 将 BiConsumer 转换为 Consumer。 getInvokeMethod ...
2021-12-09
Collectors.mapping
胜人者有力，自胜者强。——先秦《老子》 今天发现了Collectors.mapping的正确姿势 使用场景如下： 我想要对一个List<User>进行groupBy 1234567891011121314151617181920212223242526272829class User { private String name; private Integer age; public String getName() { return name; } public void setName(String name) { this.name = name; } public Integer getAge() { return age; } public void setAge(Inte...
阿超
我的名字叫阿超 年龄25岁 家在北京市 职业是软件开发 每天最晚也会在八点前回家 不抽烟 酒浅尝辄止 晚上十二点上床 保证睡足八个小时 睡前写一篇博客 再做二十分钟俯卧撑暖身 然后再睡觉 基本能熟睡到天亮 像婴儿一样不留下任何疲劳和压力 就这样迎来第二天的早晨 健康检查结果也显示我很正常 我想说明我是一个不论何时都追求内心平稳的人 不拘泥于胜负 不纠结于烦恼 不树立使我夜不能寐的敌人 这就是我在这社会的生活态度
Follow Me公告
This is my Blog