[Error] Spark Error

작업 내용

Spark에서 MinlO의 csv를 읽음

에러 내용

java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found

해결 방법

에러 내용을 보니 Spark가 S3A 파일 시스템을 인식할 수 있는 JAR가 없다는 내용이다. 따라서 Spark Container내에 JAR파일을 추가하여 해결할 수 있을 것 같다. 그리고 Spark 세션에 jar 파일들을 config 해주면 해결된다.

    .config("spark.jars", "/root/metastore/hadoop-aws-3.3.4.jar") \
    .config("spark.jars","/root/metastore/aws-java-sdk-bundle-1.12.782.jar")