Azkaban根据监听端口号实现程序的依赖调度,那是否意味着command中的每一命令都会产生端口号呢?

来源:4-8 项目优化

蒋昌魁

2023-09-06 11:12:33

比如简单的echo命令也会产生一个临时的端口号吗?

又比如command中执行的是sh命令,sh文件中又存在多个sql命令。那么Azkaban会依次监听所有产生的临时端口号吗?直到该job中产生的临时端口号全部依次执行完毕被关闭后,才会标识这个job执行结束,然后执行下一个job。只要不设置程序在后台运行,应该不会出现像java中并行在后台处理的情况吧?而是依次调度,从而达到上一个命令所产生的数据全部可以给下一个命令使用,是这样理解吗?

写回答

1回答

徐老师

2023-09-06

可以这样理解。这块底层的执行流程我倒还没有研究过。

0

大数据工程师

硬核技能带你攻克热点商业项目,从入门直达中级工程师水平,掌握DT时代淘金利器!

1186 学习 · 1201 问题

查看课程