なんだかインストールばっかりしている気がするが、まあ、そんなものである。
社内の勉強会で、ちょっくらApache Sparkを触ってみることになった。
まずは、環境の確認
> python --version Python 3.6.0 :: Anaconda 4.3.0 (x86_64) > java -version java version "1.8.0_112" Java(TM) SE Runtime Environment (build 1.8.0_112-b16) Java HotSpot(TM) 64-Bit Server VM (build 25.112-b16, mixed mode) > scala -version Scala code runner version 2.12.5 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.
インストールは例によって、homebrew
> brew install spark ==> Downloading https://github.com/holman/spark/archive/v1.0.1.tar.gz ==> Downloading from https://codeload.github.com/holman/spark/tar.gz/v1.0.1 ######################################################################## 100.0% 🍺 /usr/local/Cellar/spark/1.0.1: 6 files, 6.9KB, built in 7 seconds
・・・あれ？なんか違うものがはいった。これじゃない。
> brew search spark ==> Searching local taps... apache-spark spark sparkey ==> Searching taps on GitHub... caskroom/cask/cisco-spark caskroom/cask/spark-inspector caskroom/cask/spark ==> Searching blacklisted, migrated and deleted formulae...
なるほど。
> brew install apache-spark ==> Downloading https://www.apache.org/dyn/closer.lua?path=spark/spark-2.3.0/spa ==> Best Mirror http://ftp.jaist.ac.jp/pub/apache/spark/spark-2.3.0/spark-2.3.0- ######################################################################## 100.0% 🍺 /usr/local/Cellar/apache-spark/2.3.0: 1,018 files, 243.7MB, built in 1 minute
