代码之家 › 专栏 › 技术社区 › lampShadesDrifter

无法从MapR Data Science精炼厂docker容器访问HDFS

mapr

0

lampShadesDrifter · 技术社区 · 7 年前

尝试跟随这篇文章( https://mapr.com/blog/how-to-run-data-science-refinery-from-an-edge-node/ )用于设置DSR docker映像(标签: v1.1_6.0.0_4.1.0_centos7 )在边缘节点上(有关如何设置某些env.list值,请参见此处): https://mapr.com/docs/61/AdvancedInstallation/Env_Variables_Installer_Container.html ).但是,一旦容器启动,

docker run --rm -it --env-file ./mapr-docker-env.list
--cap-add SYS_ADMIN --cap-add SYS_RESOURCE --device /dev/fuse -p 9995:9995
-p 10000-10010:10000-10010 -v /tmp/maprticket_10003:/tmp/dsr_ticket:ro -v
/sys/fs/cgroup:/sys/fs/cgroup:ro docker.io/maprtech/data-science-refinery
Container timezone will be set from value passed in MAPR_TZ:
....
....
....
opt/mapr/lib/baseutils*.jar:/opt/mapr/lib/maprutil*.jar:/opt/mapr/lib/json-1.8.jar:/opt/mapr/lib/flexjson-2.1.jar
org.apache.livy.server.LivyServer, logging to
/opt/mapr/livy/livy-0.5.0/logs/livy-myuser-server.out
Log dir doesn't exist, create /opt/mapr/zeppelin/zeppelin-0.8.0/logs
Zeppelin start                                             [  OK  ]

ls -lha /mapr/ourcluster.name.local/

从容器中,显示该位置不存在。但是,检查主机上的MaprPicket过期时间 maprlogin print 显示票证仍然有效,可用于从主机访问HDFS(例如。 hadoop fs -ls / ),并正确写入env.list文件。其他使用docker图像的人知道这里发生了什么吗?

1 回复 | 直到 7 年前

1

0

lampShadesDrifter 7 年前

DSR映像似乎有一个错误,即即使env.list文件中指定的mapr SASL票证存在并且有效,但启动时并未将其复制到容器中。因此,容器无法连接到MapR HDFS。为了解决这个问题,你是否。。。

手动将ticketfile的内容从主机复制粘贴到我们刚刚在docker容器中创建的ticket文件
(等待一点(~2分钟)后)重新启动mapr posix服务: sudo service mapr-posix-client-container restart

完成此操作后,容器似乎能够很好地访问HDFS(并提交纱线作业)。