/
dim81
/
learning-spark
Обзор
Документация
Войти
/
dim81
/
learning-spark
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
src/python/BasicFilterMap.py
26 строк
650 B
Holden Karau
Auto pep8ify the python code
06 сен 2014, 00:13
06 сен 2014, 00:13
2b7d8bd
Код
Авторство
О чём код?
""" >>> from pyspark.context import SparkContext >>> sc = SparkContext('local', 'test') >>> b = sc.parallelize([1, 2, 3, 4]) >>> sorted(basicSquareNoOnes(b).collect()) [4, 9, 16] """ import sys from pyspark import SparkContext def basicSquareNoOnes(nums): """Square the numbers""" return nums.map(lambda x: x * x).filter(lambda x: x != 1) if __name__ == "__main__": master = "local" if len(sys.argv) == 2: master = sys.argv[1] sc = SparkContext(master, "BasicFilterMap") nums = sc.parallelize([1, 2, 3, 4]) output = sorted(basicSquareNoOnes(nums).collect()) for num in output: print "%i " % (num)