title: '新しいSpark Web UI: Sparkアプリ' author: Hue Team type: post date: 2014-01-02T23:59:37+00:00 url: /新しいspark-web-ui-sparkアプリ/ sf_thumbnail_type:
Sparkの開発者の皆様!
最近HueのSparkアプリケーションが作成されました。これはユーザーがブラウザから直接Sparkジョブの実行と監視ができ、より生産的になります。
以前Oozieのバックエンドでサブミットするアプリをリリースしましたが、最近のSpark SummitでOoyalaとEvanのチームによってコントリビュートされた、Spark Job Server (SPARK-818) に変更しました。この新しいサーバーはSparkとの実際の双方向性を有効にし、コミュニティに近づいています。
{{< youtube lWKxtvUMcGw >}}
私たちはコミュニティと一緒に作業して、将来的にPython、Javaのサポート、コンパイル/アップロードなく直接ジョブをサブミット、その他の改善ができることを願っています!
いつものように、コメントがあれば hue-user リストあるいは @gethueまで!Job Serverに直接関する質問については、SPARK-818のpull requestに参加するかSparkのメーリングリストまで!
現在、Scalaジョブのみがサポートされており、プログラムはこのトレイトを実装してjarにパッケージする必要があります。これがWordCountの例です。Spark Job Serverについて学習するにはREADMEを確認して下さい。
システムにはScalaがインストールされていると仮定しています。
現在githubのこのbranchにあります:
git clone https://github.com/ooyala/incubator-spark.git spark-server cd spark-server git checkout -b jobserver-preview-2013-12 origin/jobserver-preview-2013-12
それからこのように入力します:
sbt/sbt project jobserver re-start
現在githubのみにあります (CDH5b2に含まれる予定です):
https://github.com/cloudera/hue#getting-started
HueとSpark Job Serverが同じマシンにない場合、desktop/conf/pseudo-distributed.iniにあるhue.iniのプロパティを更新します:
[spark] # URL of the Spark Job Server. server_url=http://localhost:8090/
その後、このThen follow this 手順(ウォークスルー) に従い、ビデオのデモで使用しているサンプルのjarを作成します。