Запуск pyspark в Jupyter

Для того чтобы запустить pyspark в Jupyter notebook необходимо задать следующие переменные:

• SPARK_HOME=…
• PYSPARK_DRIVER_PYTHON=jupyter
• PYSPARK_DRIVER_PYTHON_OPTS=‘notebook’

после чего надо запустить сам pyspark.