使用PySpark计算AUC,KS与PSI
当特征数量或者模型数量很多的时候，使用PySpark去计算相关指标会节省很多的时间。网上关于使用PySpark计算相关指标的资料较少，这里抛砖引玉，写了三个风控常用的指 ......pyspark Py4JJavaError: Unsupported class file major version 56
在jupyter notebook跑上面的代码的时候报错Py4JJavaError: An error occurred while calling z:org.apache.spark.mllib.api.python.SerDe.pythonToJava. : java. ......![]()
pyspark默认使用python2-----更改
默认使用的竟然是2.7好烦如何解决呢 配置环境变量就行了 vi ~/.bashrc 添加一句话 export PATH=/home/hadoop/app/python3/bin:$PATH 保存退出 使环境变量生效 s ......![]()
入门文章学习（一）-Beginner Tutorial
Abstract: 参照“背景知识查阅”一文的学习路径，对几篇文章的学习做了记录。这是"Beginner Tutorial"一文的学习笔记。 文章链接： https://www.datacamp.com/communit ......Spark保存的时候怎么去掉多余的引号转义
今天用SparkSQL保存一份json数据的时候，引号被转义了，并用括号包起来了，导致下游新来的小伙伴无法处理这份数据。 保存后的数据长这样(用\t分割)： data "{\"key ......分布式深度学习DDL解析
分布式深度学习DDL解析 一．概述 给一个庞大的GPU集群，在实际的应用中，现有的大数据调度器会导致长队列延迟和低的性能，该文章提出了Tiresias，即一个GPU集群的调度 ......![]()
刚学spark
https://blog.csdn.net/u013019431/article/details/80776662 在jupyter notebook import pysparkhttps://www.douban.com/note/504421303/ 如何初始化 https:/ ......![]()
使用Spark开发应用程序，并将作业提交到服务器
1、pycharm编写spark应用程序 由于一些原因在windows上配置未成功（应该是可以配置成功的）、我是在linux上直接使用pycharm，在linux的好处是，环境可能导致的一切问题 ......![]()
Python 库整理【收藏】
库名称简介 Chardet字符编码探测器，可以自动检测文本、网页、xml的编码。 colorama主要用来给文本添加各种颜色，并且非常简单易用。 Prettytable主要用于在终端或浏览 ......
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章