复制编译后的jobtype到exec服务的插件下,
cp dist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz
/home/app/azkaban/azkaban-exec-server/plugins/jobtypes
cd /home/app/azkaban/azkaban-exec-server/plugins/jobtypes
tar -zxvf azkaban-jobtype-${git.tag}.tar.gz
解压之后将azkaban-jobtype-${git.tag}目录下的内容移动到/home/app/azkaban/azkaban-exec-server/plugins/jobtypes目录,然后rm -rf azkaban-jobtype-${git.tag}
2.在/home/app/azkaban/azkaban-exec-server/conf/azkaban.properties配置文件里增加一行语句:
azkaban.jobtype.plugin.dir=plugins/jobtypes
3.vim plugins/jobtypes/common.properties
## everything that the user job can know
##配置hadoop、hive、spark home
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1
azkaban.should.proxy=false
4.vim plugins/jobtypes/commonprivate.properties
## hadoop security manager setting common to all hadoop jobs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
## hadoop security related settings
# proxy.keytab.location=
# proxy.user=
# azkaban.should.proxy=true
azkaban.should.proxy=false
# obtain.binary.token=true
obtain.binary.token=false
# obtain.namenode.token=true
# obtain.jobtracker.token=true
# global classpath items for all jobs. e.g. hadoop-core jar, hadoop conf
#jobtype.global.classpath=${hadoop.home}/*,${hadoop.home}/conf
# global jvm args for all jobs. e.g. java.io.temp.dir, java.library.path
#jobtype.global.jvm.args=
# hadoop
#hadoop.home=/home/app/hadoop-2.7.2
#pig.home=
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#hive.home=
spark.home=/home/app/spark2.1
hadoop.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
jobtype.global.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
# configs for jobtype security settings
execute.as.user=tru
5.复制一份azkaban-jobtype-${git.tag}.jar到azkaban-exec-server/extlib目录下
6.由于使用 azkaban.security.HadoopSecurityManager_H_2_0, 故将plugins/jobtypes/下的 hadoopsecurity.jar 替换成 azkban-hadoopsecuritymanageryarn-3.0.0.jar
相关推荐
Azkaban - 定时任务系统的配置与运行详解
主要用于配置eclipse的gradle和jetty插件,使用了azkaban开发环境。
azkaban配置邮件内容log链接,可以配置azkaban邮件发送内容中的url链接配置:点击直接指向azkaban web服务器,解决localhost问题
描述真实大数据集群下,azkaban调度得运维实践步骤。 特别是azkaban重启后得一些坑,例如executor在mysql中得元数据记录处理。启动步骤。
The Vagrantfile requires the plugin vagrant-triggers. To install the plugin run: $ vagrant plugin install vagrant-triggers 安装Docker的管理程序 Deis 在 vagrant,需要安装vagrant-triggers,由于网络...
调度工具 - azkaban安装配置,使用手册~~~
azkaban-executor-server-2.5.0-tar.gz azkaban-web-server-2.5.0-tar.gz azkaban-sql-script-2.5.0-tar.gz
azkaban 编译后tar包。已生产环境使用。 azkaban-db-0.1.0-SNAPSHOT....azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
此Azkaban是在官网上下载后经过编译的,Azkaban安装包版本为3.56.0,包含了依赖包。只需解压即可使用。
该压缩包包含了azkaban3.43.0所有组件的编译文件:azkaban-web-server-3.43....所有的编译在linux下解压即可,配置好相关的配置信息,启动即可使用。教程:https://blog.csdn.net/qq_37279279/article/details/81541869
azkaban-web-server-亲测可用, 需要进行简单的配置就可以使用
版本:3.38,解压后,配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤---...
该压缩包包含了azkaban3.90.0所有组件编译后的文件:azkaban-db、azkaban-exec-server、azkaban-solo-server、azkaban-web-server、azkaban-hadoop-security-plugin、az-reportal、az-crypto、az-hadoop-jobtype-...
Azkaban插件 由于此插件存储库难以维护,因此AZ团队正在积极将插件代码移至主要的azkaban存储库。 如果您错过查找某些代码的话,可能要查看 。 有关所有Azkaban插件文档,请转到
该压缩包包含了azkaban3.90.0所有组件编译后的文件:azkaban-db、azkaban-exec-server、azkaban-solo-server、azkaban-web-server、azkaban-hadoop-security-plugin、az-reportal、az-crypto、az-hadoop-jobtype-...
azkaban-3.84.4改mysql驱动为8.x版本
Azkaban是由Linkedin公司推出的一个开源的批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。 Azkaban的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖...
2、azkaban的复杂的依赖配置可以变成简单的参数传递,自动生成flow和上传flow,省去了中间复杂的配置过程,开箱即用 3、接口直接执行azkaban,无需人工登录azkaban触发执行 4、核心代码可以直接复用,用于对...
azkaban2.5 资料太少,在自己服务器上用的azkaban的jar以及配置文件打包下来,需要的可以看看,文件太大放在了百度云上了
az-hadoop-jobtype-plugin/build/distributions/az-hadoop-jobtype-plugin-0.1.0-SNAPSHOT.tar.gz az-hdfs-viewer/build/distributions/az-hdfs-viewer-0.1.0-SNAPSHOT.tar.gz az-jobsummary/build/distributions/az...