oozie

oozie 是一个开源的 workflow 管理工具,不幸的是它是一个 server-side 的解决方案,这意味着所有的 task 都将通过某个描述性的文件提交到 server,然后由 server 将具体的任务提交到 hadoop 的 grid,这样一来 oozie 就变成了一个非“general purpose”的解决方案,比起 ruffus 等显得特别的有局限性。从另一个方面来说,如果这样“专门”的方案都不“方便”,那么就很难赢得用户的喜爱。

oozie 笔记

稍微小结/吐槽一下 oozie 的各种不爽:

  • 没有 ide 可视化 workflow
  • 简单的本地处理是不可行的
  • 书写 XML 是个很费事的事情,为啥不用一些 human-friendly 的格式?

几个比较有用的参考文档:CLI 参数,命令行工具;如何写一个 workflow如何写一个 coordinator 以及如何写一个 bundle

——————
And Ishmael his son was thirteen years old, when he was circumcised in the flesh of his foreskin.

Advertisements
oozie

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s