Azkaban

发表于2024-01-25|更新于2026-02-24

|浏览量:

坦诚是最明智的策略。——富兰克林

分享一个工作流框架

官方文档

https://azkaban.github.io/

Azkaban documentation! — Azkaban documentation

Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。

Features 特征

与任何版本的 Hadoop 兼容

易于使用的 Web UI

简单的 Web 和 http 工作流上传

项目工作区

工作流的调度

模块化和可插件化

身份验证和授权

跟踪用户操作

有关失败和成功的电子邮件警报

SLA告警和自动杀伤

重试失败的作业

阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。

java

相关推荐

2023-11-17

对接声网rtc-restful-api

没有求知欲的学生，就像没有翅膀的鸟。——萨迪代码如下： 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131package com.example.agora.api.webclient;import com.alibaba.nacos.common.utils.JacksonUtils;import com.fasterxml.jackson.core.type.TypeReference;import com.example.agora.api.constant...

2022-07-21

对接科大讯飞NLP

“未知苦处，不信神佛。”——Priest《杀破狼》这里对接的是文本纠错 git仓库： https://gitee.com/VampireAchao/simple-kdxf-nlp.git api文档： https://www.xfyun.cn/doc/nlp/textCorrection/API.html#%E6%8E%A5%E5%8F%A3%E8%AF%B4%E6%98%8E 引入maven依赖 12345<dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.8.4</version></dependency> 然后在 resources目录下添加 app.setting配置文件(也可以用 spring配置文件或者硬编码，随便你) 编写配置文件 12345678910111213# --------------------------...

2023-10-07

sa-token实现网关调用认证服务统一鉴权

多言则背道，多欲则伤生。——林逋按照文档里集成时发现一个问题： https://sa-token.cc/doc.html#/micro/gateway-auth 其中在web-flux的网关处调用认证子服务进行鉴权，按照文档里进行配置后 checkPermission函数会调用StpInterface，然后我实现的StpInterface是同步的，本来用open-feign实现后，发现open-feign不支持webflux！虽然有个三方库 feign-reactive 可以支持，但考虑了下，还是采用webclient实现但由于webclient此处不能阻塞调用，所以就手动实现SaReactorFilter完成封装 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495...

2023-11-09

spring-state-machine守卫踩坑

真正的艺术家绝不顾虑作品的前途。——罗曼·罗兰今天发现一个问题，如果我们是动态构建状态机，在传入指定守卫为null时，代码不会报错，且事件不会过渡到下一个状态解决方式： 1234567builder.configureTransitions().withExternal() .name(transition.getName()) .source(transition.getSourceState()) .event(transition.getEvent()) .target(transition.getTargetState()) .action(Opp.of(transition.getAction()).orElse(SerCons.nothing()::accept)) .guard(Opp.of(transition.getGuard()).orElseGet(() -> c -> true)) 提供默认值引入的是import org.dromara.streamquery....

2021-03-12

gateway简单配置

生命不等于是呼吸，生命是活动。——卢梭 GAV 123456<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-gateway</artifactId> <version>2.2.0.RELEASE</version></dependency> 记得要注释掉我们之前引入的web 1234<!-- <artifactId>spring-boot-starter-web</artifactId>...

2020-08-13

fastjson基本使用

alibaba的fastjson真香啊首先是依赖 123456<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.73</version></dependency> 这里列举点简单的应用首先是对象转JSON 1234567Map<String, Object> map = new HashMap<>(1 << 3);map.put("data", "操作成功！");map.put("code", 200);map.put("success", true);map.put("...

阿超

我的名字叫阿超年龄25岁家在北京市职业是软件开发每天最晚也会在八点前回家不抽烟酒浅尝辄止晚上十二点上床保证睡足八个小时睡前写一篇博客再做二十分钟俯卧撑暖身然后再睡觉基本能熟睡到天亮像婴儿一样不留下任何疲劳和压力就这样迎来第二天的早晨健康检查结果也显示我很正常我想说明我是一个不论何时都追求内心平稳的人不拘泥于胜负不纠结于烦恼不树立使我夜不能寐的敌人这就是我在这社会的生活态度

数据加载中