1.5 环境部署

针对本教材的内容,Spark开发环境的部署基于Docker容器的技术,可以直接下载预先编译的Docker镜像,此镜像已经发布到https://hub.docker.com/r/leeivan/spark-lab-env/。然后通过镜像文件创建和运行Spark开发环境的容器,其前提条件是首先安装Docker客户端程序,然后执行如下命令:

命令1-42

本教材涉及的部分代码已经上传到Github,地址为https://github.com/leeivan/spark-app。进入上面命令创建的容器内,下载代码程序,执行命令如下:

命令1-43

这样就会在root目录中创建spark-app目录,其中包括了代码程序。