Azkaban
发表于|更新于
|浏览量:
坦诚是最明智的策略。——富兰克林
分享一个工作流框架
https://github.com/azkaban/azkaban
官方文档
Azkaban documentation! — Azkaban documentation
Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。
Features 特征
- 与任何版本的 Hadoop 兼容
- 易于使用的 Web UI
- 简单的 Web 和 http 工作流上传
- 项目工作区
- 工作流的调度
- 模块化和可插件化
- 身份验证和授权
- 跟踪用户操作
- 有关失败和成功的电子邮件警报
- SLA告警和自动杀伤
- 重试失败的作业
阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。
相关推荐
2022-03-03
collectingAndThen
向着清风吟唱的歌手，还会对着运转的宇宙歌吟。——纪伯伦《先知》 我们使用Stream收集操作收集元素时，会遇到对规则进行分组后，对每一组的数据还要进行处理的情况，这时候我们可以使用Collectors.collectingAndThen处理，例如我下面本来分组后得到一个Map<String,List<String>>，但我将分组后每一组的结果转换为了JSON格式的String 12345678910111213import java.util.Map;import java.util.stream.Collectors;import java.util.stream.Stream;import com.alibaba.fastjson.JSON;class Scratch { public static void main(String[] args) { Map<String, String> collect = Stream.<String>empty().collect(Collec...
2023-11-20
docker运行声网linux-server-sdk示例
人类的天性是容易忘记感激别人，所以，如果我们施一点点恩惠都希望别人感激的话，那一定会使我们大为头痛。——戴尔·卡耐基 首先是下载： 下载 - 云信令（原实时消息） - 文档中心 - 声网Agora Agora_RTM_SDK_for_Linux_Java_v1_5_1.zip其中有个samples/Agora-RTM-Tutorial-Java，我们将 libs/libagora_rtm_sdk.so libs/agora_rtm.jar 复制到samples/Agora-RTM-Tutorial-Java/lib下 然后在samples/Agora-RTM-Tutorial-Java下执行命令： 1mvn install:install-file -Dfile=lib/agora_rtm.jar -DgroupId=io.agora.rtm -DartifactId=agora-rtm-sdk -Dversion=1.0 -Dpackaging=jar 然后注意修改代码中的AppId和token 这里我的token采取服务端生成，因此我们还需要这一个jar 12345...
2021-12-30
Mybatis-plus快照私服引入
自信与骄傲有异；自信者常沉着，而骄傲者常浮扬。——梁启超 Mybatis-Plus的3.4.5快照版出了 官方文档：https://baomidou.com/pages/bab2db/#snapshot 我们到项目中试试吧！ 首先配置settings.xml 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www....
2020-06-10
一行代码搞定中文姓名排序
上码！ 两个参数分别为：一个字符串数组、一个接收比较器，以确定所述阵列的顺序 Collator是一个抽象基类，子类实现特定的整理策略。 1Arrays.sort(names, Collator.getInstance(java.util.Locale.CHINA)); 完整代码如下： 12345String[] names = {"张三", "李四", "王五", "赵六", "狂神", "阿超"}; Arrays.sort(names, Collator.getInstance(java.util.Locale.CHINA)); for (String name : names) { System.out.println(name); } 输出结果： 123456阿超狂神李四王五张三赵六
2022-09-10
对接有道OCR
挑选朋友要慎重，更换朋友更要慎重——富兰克林 有道智云文档 代码如下： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364package com.ruben;import cn.hutool.core.codec.Base64;import cn.hutool.core.lang.Console;import cn.hutool.core.lang.UUID;import cn.hutool.crypto.digest.DigestUtil;import cn.hutool.extra.tokenizer.Word;import cn.hutool.http.HttpRequest;import cn.hutool.http.HttpResponse;import cn.hutool.http.HttpUtil;import cn.hutool.setting.Setting;import ...
2020-11-29
@Transactional
事者，生于虑，成于务，失于傲。——管仲 如果想让该类或方法被事务支持，则可以加上@Transactional注解@Transactional有几个参数：value/transactionManager——是用来指定事务管理器，这个不太常用timeout——事务超时时间，为传播特性为PROPAGATION_REQUIRES_NEW和PROPAGATION_REQUIRED定制，创建新事务时旧事务的超时时间，出场率也不是特别高下面的则是常用的参数readOnly——是否为只读事务，如果为true时，进行查询操作效率会更高，但不能进行除查询外的操作，会报错rollbackFor/rollbackForClassName——指定需要回滚的异常noRollbackFor/noRollbackForClassName——指定不需要回滚的异常默认对编译异常不会滚 对非受检异常回滚，例如RuntimeException就会回滚事务 isolation——配置隔离级别事务丢失 回滚丢失——另一个事务回滚导致当前事务丢失 覆盖丢失——另一个事务提交导致当前事务丢失 ...
阿超
我的名字叫阿超 年龄25岁 家在北京市 职业是软件开发 每天最晚也会在八点前回家 不抽烟 酒浅尝辄止 晚上十二点上床 保证睡足八个小时 睡前写一篇博客 再做二十分钟俯卧撑暖身 然后再睡觉 基本能熟睡到天亮 像婴儿一样不留下任何疲劳和压力 就这样迎来第二天的早晨 健康检查结果也显示我很正常 我想说明我是一个不论何时都追求内心平稳的人 不拘泥于胜负 不纠结于烦恼 不树立使我夜不能寐的敌人 这就是我在这社会的生活态度
Follow Me公告
This is my Blog