[Error] Spark on K8S 실행 에러

Spark on k8s 실행을 위해 이미지 빌드 후 실행을 하니 다음과 같은 에러가 발생했다.

Exception in thread "main" io.fabric8.kubernetes.client.KubernetesClientException: JcaPEMKeyConverter is provided by BouncyCastle, an optional dependency. To use support for EC Keys you must explicitly add this dependency to classpath

 

찾아보니 Spark Kubernetes Cluster에 대해 Spark의 Scala 셸을 사용하기 위해서는 BouncyCastle이 외부 종속성으로 포함되어야 한다고 한다. 따라서 외부 종속성을 JAR파일로 가져와 $(SPARK_HOME)/jars에 저장하면 해결된다.

 

1.maven 설치

apt install maven

 

2.종속성 다운로드

실행하면 ~/.m2/repository 경로에 종속성 파일이 생성된다.

mvn dependency:get -DremoteRepositories=http://repo1.maven.org/maven2/ \
                   -DgroupId=org.bouncycastle -DartifactId=bcpkix-jdk15on -Dversion=1.70 \
                   -Dtransitive=true

 

3.파일 복사

cp ~/.m2.repository/org/bouncycastle/bcpkix-jdk15on/1.70/bcpkix-jdk15on-1.70.jar $SPARK_HOME/jars
cp ~/.m2.repository/org/bouncycastle/bcprov-jdk15on/1.70/bcprov-jdk15on-1.70.jar $SPARK_HOME/jars
cp ~/.m2.repository/org/bouncycastle/bcutil-jdk15on/1.70/bcutil-jdk15on-1.70.jar $SPARK_HOME/jars

 

이후 실행하면 된다.