Hvilken versjon av Python bruker spark?
Hvilken versjon av Python bruker spark?

Video: Hvilken versjon av Python bruker spark?

Video: Hvilken versjon av Python bruker spark?
Video: How To Install Python Libraries In Visual Studio Code (Mac) 2024, November
Anonim

Gnist kjører på Java 8+, Python 2,7+/3,4+ og R 3,1+. For Scala API, Gnist 2.3. 0 bruker Scala 2.11. Du må bruk en kompatibel Scala versjon (2.11.

Tilsvarende, fungerer spark med Python 3?

Apache Gnist er et cluster computing-rammeverk, for tiden en av de mest aktivt utviklede på Big Data-arenaen med åpen kildekode. Siden siste versjon 1.4 (juni 2015), Gnist støtter R og Python 3 (for å utfylle den tidligere tilgjengelige støtten for Java, Scala og Python 2).

Foruten ovenfor, hvordan endrer jeg spark-versjonen av Python? I tilfelle du bare vil endring de python versjon for gjeldende oppgave kan du bruke følgende pyspark startkommando: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ python PYSPARK_PYTHON=/usr/local/anaconda2/bin/ python pyspark --master..

Videre, hva er den nyeste spark-versjonen?

Apache Spark

Originalforfatter(e) Matei Zaharia
Første utgivelse 26. mai 2014
Stabil utgivelse 2.4.5 / 8. februar 2020
Oppbevaringssted Spark Repository
Skrevet i Scala

Hva er spark Python?

Temme Big Data med Apache Gnist og Python Py4J er et populært bibliotek integrert i PySpark som lar python grensesnitt dynamisk med JVM-objekter (RDD-er). Apache Gnist leveres med et interaktivt skall for python som det gjør for Scala. Skallet for python er kjent som PySpark ”.

Anbefalt: