Azkaban
发表于|更新于
|浏览量:
坦诚是最明智的策略。——富兰克林
分享一个工作流框架
https://github.com/azkaban/azkaban
官方文档
Azkaban documentation! — Azkaban documentation
Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性的问题。我们的作业需要按顺序运行，从 ETL 作业到数据分析产品。
Features 特征
- 与任何版本的 Hadoop 兼容
- 易于使用的 Web UI
- 简单的 Web 和 http 工作流上传
- 项目工作区
- 工作流的调度
- 模块化和可插件化
- 身份验证和授权
- 跟踪用户操作
- 有关失败和成功的电子邮件警报
- SLA告警和自动杀伤
- 重试失败的作业
阿兹卡班的设计主要考虑了可用性。它已经在LinkedIn上运行了好几年，并驱动了他们的许多Hadoop和数据仓库流程。
相关推荐
2021-03-28
获取不同时区的时间
真诚与朴实是天才的宝贵品质。——斯坦尼斯拉夫斯基 1234567891011121314151617181920212223242526272829303132System.out.println("下面的是两个默认时区的LocalDateTime");final LocalDateTime localDateTime = LocalDateTime.ofInstant(new Date().toInstant(), ZoneId.systemDefault());final LocalDateTime localDateTime1 = LocalDateTime.now();System.out.println(localDateTime);System.out.println(localDateTime1);System.out.println("下面的是两个通过Date.from()拿到的默认时区的Date");// 这里需要使用ZonedDateTimefinal Date from = Date.from(Instant.fr...
2022-02-14
hutool中@Alias
何必向不值得的人证明什么，生活得更好，乃是为你自己——忽而今夏 我们可以使用hutool中的@Alias注解去给bean取别名，例如： 1234567@Datapublic static class BeanWithAlias { @Alias("name") private String value1; @Alias("age") private Integer value2;} 然后别名不仅能在BeanUtil.copyProperties中使用，还可以在JSONUtil中使用： 123456789101112131415final BeanWithAlias beanWithAlias = new BeanWithAlias();beanWithAlias.setValue1("张三");beanWithAlias.setValue2(35);final JSONObject jsonObject = JSONUtil.parseObj(beanWithAlias);Assert.asse...
2023-01-28
spring-batch批量处理
没有一个人能真正理解另一个人的烦恼或喜悦——舒伯特 按照文档：https://spring.io/guides/gs/batch-processing/ 新建一个项目 勾选Spring Batch以及HyperSQL Database 点击create 在resources下面新建我们的数据文件 sample-data.csv 12345Jill,DoeJoe,DoeJustin,DoeJane,DoeJohn,Doe schema-all.sql 1234567DROP TABLE people IF EXISTS;CREATE TABLE people ( person_id BIGINT IDENTITY NOT NULL PRIMARY KEY, first_name VARCHAR(20), last_name VARCHAR(20)); 然后新建一个Person业务类 12345678910111213141516171819202122232425262728293031323334353637package com.example....
2021-04-03
mybatis-plus逻辑删除简单实现
1 人生不是一支短短的烛炬，而是一只由我们暂时拿着的火把；我们一要把它燃得十分光明辉煌，然后交给下一代的人们。——（英）萧伯纳 mybatis-plus配置逻辑删除 我们可以在配置文件中配置 12345mybatis-plus: global-config: db-config: logic-delete-value: 1 # 逻辑已删除值(默认为 1) logic-not-delete-value: 0 # 逻辑未删除值(默认为 0) 然后在pojo的删除字段属性加一个@TableLogic注解 然后我们启动测试类 12345@Testpublic void deleteTest() { List<Film> films = filmMapper.selectList(Wrappers.lambdaQuery(Film.builder().build()).last("LIMIT 1")); films.stream().findFirst().map(Film::getFilmId)...
2023-11-21
rabbitmq动态创建队列
谁都饶恕比谁都不饶恕同样残忍。——塞涅卡 分享一个动态创建rabbitmq队列的代码： 依赖： 1234<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId></dependency> 配置： 123456spring: rabbitmq: host: localhost port: 5672 username: xxx password: xxx 代码： 123456789101112131415161718192021222324252627282930313233343536373839404142434445import com.alibaba.nacos.common.utils.JacksonUtils;import lombok.extern.slf4j.Slf4j;import org.spr...
2023-03-23
dataCompare
真正的好人，是那个和所有的大家认为坏的人在一起的人。——纪伯伦 分享一个项目：https://gitee.com/dromara/data-compare 介绍dataCompare 是一个大数据数据比对和数据探测平台 (1)支持hive表数据比对，mysql、Doris 数据比对，实现自动化配置进行数据比对，避免频繁写sql 进行处理 (2)支持少量配置即可实现数据探测 对比结果展示：
阿超
我的名字叫阿超 年龄25岁 家在北京市 职业是软件开发 每天最晚也会在八点前回家 不抽烟 酒浅尝辄止 晚上十二点上床 保证睡足八个小时 睡前写一篇博客 再做二十分钟俯卧撑暖身 然后再睡觉 基本能熟睡到天亮 像婴儿一样不留下任何疲劳和压力 就这样迎来第二天的早晨 健康检查结果也显示我很正常 我想说明我是一个不论何时都追求内心平稳的人 不拘泥于胜负 不纠结于烦恼 不树立使我夜不能寐的敌人 这就是我在这社会的生活态度
Follow Me公告
This is my Blog