[Error] Spark Type error

에러 내용

TypeError: type Column doesn't define __round__ method

 

spark 코드중에 소수점 표현을 강제하는 내용이 있는데, python의 라이브러리 round를 사용해서 발생 한 내용이다. 

해결 방법

python의 내장 라이브러리가 아닌 pyspark.sql.functions의 round를 사용하면 된다.

from pyspark.sql.functions import round
df = reduce(lambda df, col: df.withColumn(col, round(df[col], 2)), column_name, df)