Azkaban
发表于|更新于
|浏览量:
坦诚是最明智的策略。——富兰克林
分享一个工作流框架
https://github.com/azkaban/azkaban
官方文档
Azkaban documentation! — Azkaban documentation
Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。
Features 特征
- 与任何版本的 Hadoop 兼容
- 易于使用的 Web UI
- 简单的 Web 和 http 工作流上传
- 项目工作区
- 工作流的调度
- 模块化和可插件化
- 身份验证和授权
- 跟踪用户操作
- 有关失败和成功的电子邮件警报
- SLA告警和自动杀伤
- 重试失败的作业
阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。
相关推荐
2022-09-14
java标签
重要的不是知识的数量，而是知识的质量。有些人知道的很多很多，但却不知道最有用的东西——列夫·托尔斯泰 多层for循环中如果想要跳出循环，可以使用标签： 12345678910111213List<Integer> list = asList(0, 1, 2);Assertions.assertNotNull(list);outerOfList:for (Integer integer : list) { for (Integer i : list) { System.out.println(i); // 直接跳出最外层循环 break outerOfList; } // 不会执行 System.out.println(integer);} 执行结果
2021-07-02
redisson实现分布式锁
性格左右命运，气度影响格局。——余世雅博士 代码如下 123456789101112131415161718192021222324252627282930313233 public static int EXPIRE_SECONDS = 5 * 60; @Resource private RedissonClient redissonClient; /** * 加redisson分布式锁 * * @param lockName 锁名 * @param supplier 调用方法 * @return T * @author <achao1441470436@gmail.com> * @since 2021/7/2 17:42 */ @Override @Transactional(rollbackFor = Throwable.class, isolation = Isolation.READ_UNCOMMITTED, propagation = Propagation.REQUIRED) p...
2022-12-13
如何关掉Parsed mapper file日志打印
时间一直走，没有尽头，只有路口。——《摆渡人》 先说结论： 将yml配置里的mybatis-plus配置 1log-impl: org.apache.ibatis.logging.stdout.StdOutImpl 改为 1log-impl: org.apache.ibatis.logging.slf4j.Slf4jImpl 在yml配置里新增一条 1234logging: level: root: DEBUG com.baomidou.mybatisplus.extension.spring.MybatisSqlSessionFactoryBean: INFO 完整配置放在最后结尾处 为什么这样配？你是如何找到的？ 首先我们搜索Parsed mapper file(因为这个日志大概率是硬编码存在于源码之中的，除非是做了日志本地化，会在配置文件里) 这里排除掉一个纯依赖模块，一个注解模块，挨个到com包搜索，在最后一个extension模块搜到了 那我们将这个类的日志级别设为INFO应该就搞定了，但是没有生效 我们打个断点，看看什么情况，等断点停到...
2022-08-10
规则引擎ice
在人生或者职业的各种事务中，性格的作用比智力大得多，头脑的作用不如心情，天资不如由判断力所节制着的自制，耐心和规律。 —— 海鸣威 《真实的高贵》 分享一个规则引擎ice 官网：http://waitmoon.com/zh/ 快速上手：http://waitmoon.com/zh/guide/getting-started.html
2022-10-25
jackson时区问题
万两黄金容易得，知心一个也难求——曹雪芹 今天发现日期数据返回后日期错乱 怀疑是时区问题，果然改了全局jackson序列化配置就好了 12ObjectMapper objectMapper = new ObjectMapper();objectMapper.setTimeZone(TimeZone.getTimeZone("GMT+8")); 完整代码： 12345678910111213141516171819202122232425262728293031323334353637383940/** * web配置类 * * @author <achao1441470436@gmail.com> * @since 2021/5/18 0018 14:52 */@Configuration@EnableWebMvcpublic class WebConfig implements WebMvcConfigurer { /** * @param converters 转换器 * @author <a...
2021-01-04
html转word或pdf
差以毫厘，谬以千里。——班固《汉书》 使用的组件还是Spire.Doc，可以看我这篇博客 如果我们遇到html,需要直接渲染到word或者pdf上，可以使用官方文档给的例子 123456789101112131415161718192021222324252627282930import com.spire.doc.*;import java.io.*;public class htmlStringToWord { public static void main(String[] args) throws Exception { String inputHtml = "InputHtml.txt"; //新建Document对象 Document document = new Document(); //添加section Section sec = document.addSection(); String htmlText = readText...
阿超
我的名字叫阿超 年龄25岁 家在北京市 职业是软件开发 每天最晚也会在八点前回家 不抽烟 酒浅尝辄止 晚上十二点上床 保证睡足八个小时 睡前写一篇博客 再做二十分钟俯卧撑暖身 然后再睡觉 基本能熟睡到天亮 像婴儿一样不留下任何疲劳和压力 就这样迎来第二天的早晨 健康检查结果也显示我很正常 我想说明我是一个不论何时都追求内心平稳的人 不拘泥于胜负 不纠结于烦恼 不树立使我夜不能寐的敌人 这就是我在这社会的生活态度
Follow Me公告
This is my Blog