Azkaban

发表于2024-01-25|更新于2026-02-24

|浏览量:

坦诚是最明智的策略。——富兰克林

分享一个工作流框架

官方文档

https://azkaban.github.io/

Azkaban documentation! — Azkaban documentation

Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。

Features 特征

与任何版本的 Hadoop 兼容

易于使用的 Web UI

简单的 Web 和 http 工作流上传

项目工作区

工作流的调度

模块化和可插件化

身份验证和授权

跟踪用户操作

有关失败和成功的电子邮件警报

SLA告警和自动杀伤

重试失败的作业

阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。

java

相关推荐

2020-07-16

java阿里云企业邮箱发送邮件

提供一个跟阿里云客服小姐姐要到的Demo 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859package com.ruben;import com.sun.net.ssl.internal.ssl.Provider;import javax.mail.*;import javax.mail.internet.InternetAddress;import javax.mail.internet.MimeMessage;import java.security.Security;import java.util.Date;import java.util.Properties;/** * @ClassName: AliCompanyEmailSender * @Date: 2020/7/16 0014 13:47 * @Description: * @Author: <achao1441470436@gmail...

2023-04-04

给项目添加chechstyle

普通而抽象的思想是人类铸成大错的根源。——卢俊收到个pr：https://gitee.com/dromara/stream-query/pulls/301 给项目添加了checkstyle，非常的nice 主要是配置了maven插件 123456789101112131415161718192021222324<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-checkstyle-plugin</artifactId> <version>3.1.0</version> <configuration> <configLocation>checkstyle/checkstyle.xml</configLocation> &...

2023-12-09

spring-state-machine的action踩坑

善则称人，过则称己，则民不争。——佚名今天在状态机的action里进行事件触发，发现并没有触发这是因为在action触发后，state才会进行更改，而不是在state触发后。。。例如此处我们在action的execute打断点：可以看到还没有更改状态如果需要在state触发以后紧接着触发event，则可以放到拦截器里spring-state-machine拦截器处理

2023-04-22

lambda2sql

哪怕对自己的一点小小的克制，也会使人变得强而有力。——高尔基分享一个开源项目lambda2sql： https://github.com/ajermakovics/lambda2sql 编写如下的lambda 1person -> person.getAge() < 100 && person.getHeight() > 200 会被转换为 1age < 100 AND height > 200 使用起来非常简单，也非常有意思 123456789101112131415161718192021222324252627282930313233343536373839404142package lambda2sql;import org.junit.Assert;import org.junit.Test;public class Lambda2SqlTest { @Test public void testComparisons() { assertEqual("age = 1", e...

2021-02-19

replaceAll坑

学如弓弩，才如箭镞，识以领之，方能中鹄。一一袁枚前两天遇到一个坑，在使用String.replace()和replaceAll的时候因为没有看过API和注释，拿着就开用，结果造成一个bug 这里留做记录场景是这样的，我对一个字符串进行替换，将[idea]替换为""时使用了replaceAll，导致其他不该被替换的字符也被替换了这段代码 123String str = "Hino Supa and ruben";System.out.println(str.replace("[idea]", ""));System.out.println(str.replaceAll("[idea]", "")); 输出的结果为 12Hino Supa and rubenHno Sup n rubn 可以看到，replaceAll把我们的[idea]当做了正则表达式… 点进源码一看注释，好家伙第一句就是 123Replaces each substring of...

2022-06-01

RequiredArgsConstructor

“世间事，除了生死，哪一件不是闲事。”——仓央嘉措《地空》。分享一个lombok注解@RequiredArgsConstructor 同样和@AllArgsConstructor支持onConstructor参数区别在于，@RequiredArgsConstructor只针对final的字段生成带参构造器例如： 1234567891011121314151617181920212223242526272829303132333435363738package com.ruben.simplescaffold.service.impl;import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;import com.ruben.simplescaffold.entity.UserDetail;import com.ruben.simplescaffold.manager.JsonManager;import com.ruben.simplescaffold.mapper.UserDetailMapp...

阿超

我的名字叫阿超年龄25岁家在北京市职业是软件开发每天最晚也会在八点前回家不抽烟酒浅尝辄止晚上十二点上床保证睡足八个小时睡前写一篇博客再做二十分钟俯卧撑暖身然后再睡觉基本能熟睡到天亮像婴儿一样不留下任何疲劳和压力就这样迎来第二天的早晨健康检查结果也显示我很正常我想说明我是一个不论何时都追求内心平稳的人不拘泥于胜负不纠结于烦恼不树立使我夜不能寐的敌人这就是我在这社会的生活态度

数据加载中