/
dim81
/
learning-spark
Обзор
Документация
Войти
/
dim81
/
learning-spark
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
src/python/RemoveOutliers.py
29 строк
792 B
Holden Karau
Auto pep8ify the python code
06 сен 2014, 00:13
06 сен 2014, 00:13
2b7d8bd
Код
Авторство
О чём код?
""" >>> from pyspark.context import SparkContext >>> sc = SparkContext('local', 'test') >>> b = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 1000]) >>> sorted(removeOutliers(b).collect() [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] """ import sys import math from pyspark import SparkContext def removeOutliers(nums): """Remove the outliers""" stats = nums.stats() stddev = math.sqrt(stats.variance()) return nums.filter(lambda x: math.fabs(x - stats.mean()) < 3 * stddev) if __name__ == "__main__": master = "local" if len(sys.argv) == 2: master = sys.argv[1] sc = SparkContext(master, "Sum") nums = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 1000]) output = sorted(removeOutliers(nums).collect()) for num in output: print "%i " % (num)