锁定HDFS中的目录

不,没有办法通过HDFS实现这一点。

通常,当我遇到这个问题时,我会尝试将数据复制到一个随机的临时位置,然后在复制完成后移动文件。这很好,因为mv非常即时,而复制需要更长的时间。这样,如果你检查是否有其他人在写mv,那么时间段和“锁定”将保持较短的时间

1. 生成随机数
2. 将数据放入中的新文件夹hdfs://tmp/$随机数
3. 检查目的地是否正常( hadoop fs -ls 也许)
4. hadoop fs -mv 将数据发送到 latest 目录

在3岁到4岁之间,你很可能会有人砸东西。如果这真的让你紧张,也许你可以在ZooKeeper中实现一个简单的锁。 Curator 可以帮你。