[LUDOC-311] Spark is not able to access Lustre within Docker

• Status: Closed
• Project: Lustre Documentation
• Type: Question/Request
• Priority: Major
• Reporter: yale wang (Inactive)
• Assignee: Jodi Levi (Inactive)
• Resolution: Incomplete
• Labels: build

Environment

当前环境：
内核 3.10.0-229.7.2.el7.x86_64
docker镜像用centos制作，镜像安装了lustre文件系统的客户端
lustre-client-modules-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
lustre-client-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
镜像中封装了hadoop2.5.2和spark1.4.1
docker 集群启动 通过-v /mnt:/mnt 挂载lustre文件系统

• Epic/Theme: test
• Epic: server
• Project: Test Infrastructure

Description

现在lustre文件系统上构建大数据spark集群（docker集群），遇到spark集群无法访问lustre文件系统的情况，恳请帮助解决。
当前环境：
内核 3.10.0-229.7.2.el7.x86_64
docker镜像用centos制作，镜像安装了lustre文件系统的客户端
lustre-client-modules-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
lustre-client-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
镜像中封装了hadoop2.5.2和spark1.4.1
docker 集群启动 通过-v /mnt:/mnt 挂载lustre文件系统
在master容器中成功启动hadoop集群和spark集群，
通过jps在master容器中看见NodeManager、Master、ResourceManager、Worke
slave容器中看见Worker和NodeManager
运行情况：
hadoop集群运行pi正常，运行wordcount也正常
容器中运行./spark-shell可以正常访问lustre文件系统

问题：
master容器运行 ./spark-shell --master spark://master:7077可以正常启动
但是访问luster文件系统报错，错误见附件

Comments

[Emoly Liu]

Yale re-filed this issue to LU-7348, so let me close this one.