[LUDOC-311] Spark is not able to access Lustre within Docker

• Type: Question/Request
• Resolution: Incomplete
• Priority: Major
• Labels: build

Environment

当前环境：
      内核 3.10.0-229.7.2.el7.x86_64
      docker镜像用centos制作，镜像安装了lustre文件系统的客户端
      lustre-client-modules-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
      lustre-client-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
      镜像中封装了hadoop2.5.2和spark1.4.1
      docker 集群启动 通过-v /mnt:/mnt 挂载lustre文件系统

Epic/Theme

test

Epic

server

• Project: Test Infrastructure
• Assignee: Jodi Levi (Inactive)
• Reporter: yale wang (Inactive)

Description

现在lustre文件系统上构建大数据spark集群（docker集群），遇到spark集群无法访问lustre文件系统的情况，恳请帮助解决。
当前环境：
内核 3.10.0-229.7.2.el7.x86_64
docker镜像用centos制作，镜像安装了lustre文件系统的客户端
lustre-client-modules-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
lustre-client-2.5.37.7-3.10.0_229.7.2.el7.x86_64.x86_64.rpm
镜像中封装了hadoop2.5.2和spark1.4.1
docker 集群启动 通过-v /mnt:/mnt 挂载lustre文件系统
在master容器中成功启动hadoop集群和spark集群，
通过jps在master容器中看见NodeManager、Master、ResourceManager、Worke
slave容器中看见Worker和NodeManager
运行情况：
hadoop集群运行pi正常，运行wordcount也正常
容器中运行./spark-shell可以正常访问lustre文件系统

问题：
master容器运行 ./spark-shell --master spark://master:7077可以正常启动
但是访问luster文件系统报错，错误见附件