该问题先标记上,之后有空了研究原因。
在var dataframe后将dataframe作为参数输入某方法,将结果重新赋予该dataframe,会导致spark运行显著减慢速度。暂时不知道原因,之后研究(可以去stackoverflow提问)将数据来源改为val之后运行速度显著提高。超过100倍速度
手机扫一扫
移动阅读更方便
你可能感兴趣的文章
4
5
6
7
8
9
10