Azkaban

发表于2024-01-25|更新于2026-02-24

|浏览量:

坦诚是最明智的策略。——富兰克林

分享一个工作流框架

官方文档

https://azkaban.github.io/

Azkaban documentation! — Azkaban documentation

Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。

Features 特征

与任何版本的 Hadoop 兼容

易于使用的 Web UI

简单的 Web 和 http 工作流上传

项目工作区

工作流的调度

模块化和可插件化

身份验证和授权

跟踪用户操作

有关失败和成功的电子邮件警报

SLA告警和自动杀伤

重试失败的作业

阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。

java

相关推荐

2021-01-28

性能有点不错的时间工具类

人们宁愿去关心一个蹩脚电影演员的吃喝拉撒和鸡毛蒜皮，而不愿了解一个普通人波涛汹涌的内心世界。——路遥《平凡的世界》首先是依赖lang3 123456<dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.11</version></dependency> 然后是工具类 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657package com.ruben.utils;import org.apache...

2022-07-06

eclipse-collections

志向和热爱是伟大行为的双翼。——歌德之前分享了vavr，今天在分享一个同类框架eclipse-collections 官方文档：http://www.eclipse.org/collections/ 1234567891011<dependency> <groupId>org.eclipse.collections</groupId> <artifactId>eclipse-collections-api</artifactId> <version>11.0.0</version></dependency><dependency> <groupId>org.eclipse.collections</groupId> <artifactId>eclipse-collections</artifactId> <version>11.0.0</version></dependency&...

2022-07-26

mp自定义sql注入

我有一瓢酒，可以慰风尘。——韦应物以mysql语法INSERT INTO user_info (name,age,email) VALUES ( ?,?,? ),( ?,?,? )举例：首先注入自定义策略 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869package io.github.vampireachao.stream.plugin.mybatisplus.injector;import com.baomidou.mybatisplus.annotation.IdType;import com.baomidou.mybatisplus.core.injector.AbstractMethod;import com.baomidou.mybatisplus.core.injector.DefaultSqlInjector;import com.baomidou...

2023-04-02

h2-console

名枪好躲，暗箭难防。——无名氏分享一个h2-console的使用方式：首先配置： 1234spring: h2: console: enabled: true 然后可以看到日志：我们访问localhost:8080/h2-console，复制jdbc:h2:mem:2e01066c-fbfb-40a5-8ba9-3ff049d753f8到connection url 进到控制台，并成功连接这里可以看到我们的库表信息以及进行查询非常的好用

2023-08-23

如何使用lambda表达式提升开发效率

再也无需前思后想，一切岂非已然过往。——《且听风吟》高手问答第 305 期 —— 如何使用 lambda 表达式提升开发效率？ Java8的一个大亮点是引入Lambda表达式，使用它设计的代码会更加简洁。当开发者在编写Lambda表达式时，也会随之被编译成一个函数式接口。 Lambda表达式https://docs.oracle.com/javase/tutorial/java/javaOO/lambdaexpressions.html 简单来说：就是把我们的函数(方法)作为参数传递、调用等例子：自定义函数式接口（用jdk自带的函数式接口也可以） 123456789101112131415161718import java.io.Serializable;/** * 可序列化的Functional * * @author VampireAchao */@FunctionalInterfacepublic interface Func<T, R> extends Serializable { /** * 调用 * * @p...

2023-01-31

neutrino-proxy

千万别先给人一番赞美，再立刻给他一顿批评——马克·吐温分享一个内网穿透项目neutrino-proxy 中微子代理（neutrino-proxy）是一个基于netty的、开源的java内网穿透项目。遵循MIT许可，因此您可以对它进行复制、修改、传播并用于任何个人或商业行为。演示：

阿超

我的名字叫阿超年龄25岁家在北京市职业是软件开发每天最晚也会在八点前回家不抽烟酒浅尝辄止晚上十二点上床保证睡足八个小时睡前写一篇博客再做二十分钟俯卧撑暖身然后再睡觉基本能熟睡到天亮像婴儿一样不留下任何疲劳和压力就这样迎来第二天的早晨健康检查结果也显示我很正常我想说明我是一个不论何时都追求内心平稳的人不拘泥于胜负不纠结于烦恼不树立使我夜不能寐的敌人这就是我在这社会的生活态度

数据加载中