Apache BigtopでSparkのdebパッケージをつくってみる（Ubuntu 14.04）

Hadoop関連のプロダクトをパッケージングするツールらしい。

ただ、Bigtopはドキュメントがどこにあるのかさっぱりわからない…。たぶんこれ↓だと思うんですが、読んでもわからなかったのでノリでやってみた結果です。

Bigtop Packaging - Apache Bigtop - Apache Software Foundation

必要なパッケージをインストール

Javaをインストール

OpenJDKでやってみます。

sudo apt install openjdk-7-jdk

Gradleをインストール

wget https://services.gradle.org/distributions/gradle-2.11-bin.zip
unzip gradle-2.11-bin.zip

# パスを通す
echo 'export PATH=${PATH}:~/gradle-2.11/bin/' | tee -a ~/.bashrc
source ~/.bashrc

Mavenをインストール

14.04だと公式レポジトリに入ってるのは3.0系なんですが、3.3が必要らしいので自分で落としてきます。

wget http://ftp.kddilabs.jp/infosystems/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip
unzip apache-maven-3.3.9-bin.zip

# パスを通す
echo 'export PATH=${PATH}:~/apache-maven-3.3.9/bin/' | tee -a .bashrc
source ~/.bashrc

debuildに必要なパッケージをインストール

debパッケージをつくるのには当然debuildを使うので、必要なパッケージを入れておきます。

sudo apt-get install devscripts debhelper

ビルド

Bigtopをダウンロード

git clone https://github.com/apache/bigtop

ビルド

まず、試しにタスクの一覧を表示します。

gradle tasks

ここにずらっとタスクの一覧が出てきます。いろいろできるんですね（小並感）。今回はパッケージをつくるだけですが、クラスターへのデプロイとかもできるみたいです。時間があったらちゃんと試してみたい。

今は、Spark 1.5.1のパッケージがビルドできるみたいです。

gradle spark-deb

が、時間かかって最後まで見届けられなかったので、これでうまくいくのかは不明。。