将DataFrame赋值为可变变量在spark中多次赋值后运行速度减慢的问题
阅读原文时间:2023年07月08日阅读:2

该问题先标记上,之后有空了研究原因。

在var dataframe后将dataframe作为参数输入某方法,将结果重新赋予该dataframe,会导致spark运行显著减慢速度。暂时不知道原因,之后研究(可以去stackoverflow提问)将数据来源改为val之后运行速度显著提高。超过100倍速度