Azkaban
发表于|更新于
|浏览量:
坦诚是最明智的策略。——富兰克林
分享一个工作流框架
https://github.com/azkaban/azkaban
官方文档
Azkaban documentation! — Azkaban documentation
Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。
Features 特征
- 与任何版本的 Hadoop 兼容
- 易于使用的 Web UI
- 简单的 Web 和 http 工作流上传
- 项目工作区
- 工作流的调度
- 模块化和可插件化
- 身份验证和授权
- 跟踪用户操作
- 有关失败和成功的电子邮件警报
- SLA告警和自动杀伤
- 重试失败的作业
阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。
相关推荐
2021-04-08
mp数据源加密
不宝金玉，而忠信以为宝。——《礼记》 在开发中，我们难免可能会担心数据库账号密码泄露 我们可以使用mybatis-plus自带的数据安全保护进行加密 123456789101112public static void main(String[] args) throws Throwable { // 生成 16 位随机 AES 密钥 String randomKey = AES.generateRandomKey(); // 随机密钥加密 String url = AES.encrypt("jdbc:mysql://localhost:3306/ruben?autoReconnect=true&zeroDateTimeBehavior=CONVERT_TO_NULL&useUnicode=true&characterEncoding=utf-8&useSSL=false&nullCatalogMeansCurrent=true&serverTimezone=Asia/Shanghai&...
2021-10-05
Sa-Token
我相信过，如果怀着愉快的心情谈起悲伤的事情，悲伤就会烟消云散。——高尔基 介绍一个轻量级JWT权限认证框架Sa-Token 官方文档：https://sa-token.dev33.cn/doc/index.html#/ 今天直接试着用了下，感觉还不错，功能比之前的shaun强大 真香~
2023-02-18
bean-searcher参数转换
即使在最丑的孩子身上，也有新鲜的东西，无穷的希望——罗曼·罗兰 昨天写了bean-searcher支持DbType为UNKNOWN的使用Converter 虽然解决了对应场景的问题： 前端传入枚举的name，数据库存储类型为tinyint，导致获取DbType为UNKNOWN，从而没有自定义进入Convertor的问题，虽然可以手动在枚举字段上加@DbField(type=DbType.INT)让其进入Converter，但是即便进入了Convertor，由于参数只有DbType为INT，以及实际的String类型的枚举name，导致仍然无法获取到其枚举对应类型，就拿不到name对应的枚举ordinal 但是由于距离发版还有一段时间，或者是低版本想要实现这个需求的场景，就得手动注入ParamResolver 了 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869impor...
2021-01-30
自定义list To HashMap工具类
没有比正直更富的遗产。——莎士比亚 我们在使用JDK自带的Collectors.toMap时，可能会遇到如下问题（什么？你不知道toMap干嘛的？戳我了解）： 1.key重复，出现java.lang.IllegalStateException: Duplicate key ***异常 例如： 12List<User> users = new ArrayList<>(Arrays.asList(new User(null, "HiNo"), new User(null, "SuPa")));Map<String, String> map = users.stream().collect(Collectors.toMap(User::getUsername, User::getPassword)); 2.value为空，出现NPE： java.lang.NullPointerException 例如: 12List<User> users = new ArrayList<>(Ar...
2024-10-13
Apache-StreamPark发版编译并上传svn
你期盼世人对你有好的评论吗？如果这样，你就别说自己的好话。——帕斯卡 过程如下： 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051061071081091101111121131141151161171181191201211221231241251261271281291301311321331341351361371381391401411421431441451461471481491501511521531541551561571581591601611621631641651661671681691701711721731741751761771781791801811821831841851861871...
2022-02-11
大额数字转节权位
一花凋零，荒芜不了整个春天。——巴尔扎克 今天在hutool提交了个PR https://gitee.com/dromara/hutool/pulls/536 NumberChineseFormatter.formatSimple，用于将阿拉伯数字（支持正负整数）四舍五入后转换成中文节权位简洁计数单位，例如 -5_5555 =》 -5.56万 代码如下： 1234567891011121314151617181920/** * 阿拉伯数字（支持正负整数）四舍五入后转换成中文节权位简洁计数单位，例如 -5_5555 =》 -5.56万 * * @param amount 数字 * @return 中文 */public static String formatSimple(long amount) { if (amount < 1_0000 && amount > -1_0000) { return String.valueOf(amount); } String res; if (amount < 1_0000...
阿超
我的名字叫阿超 年龄25岁 家在北京市 职业是软件开发 每天最晚也会在八点前回家 不抽烟 酒浅尝辄止 晚上十二点上床 保证睡足八个小时 睡前写一篇博客 再做二十分钟俯卧撑暖身 然后再睡觉 基本能熟睡到天亮 像婴儿一样不留下任何疲劳和压力 就这样迎来第二天的早晨 健康检查结果也显示我很正常 我想说明我是一个不论何时都追求内心平稳的人 不拘泥于胜负 不纠结于烦恼 不树立使我夜不能寐的敌人 这就是我在这社会的生活态度
Follow Me公告
This is my Blog