2014-01-02-新しいspark-web-ui-sparkアプリ.md 5.4 KB


title: '新しいSpark Web UI: Sparkアプリ' author: Hue Team type: post date: 2014-01-02T23:59:37+00:00 url: /新しいspark-web-ui-sparkアプリ/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_related_articles:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right slide_template:
  • default sf_custom_excerpt:
  • | Sparkの開発者の皆様! 最近HueのSparkアプリケーションが作成されました。これはユーザーがブラウザから直接Sparkジョブの実行と監視... categories:
  • Spark
  • Tutorial
  • Video

Sparkの開発者の皆様!

最近HueのSparkアプリケーションが作成されました。これはユーザーがブラウザから直接Sparkジョブの実行と監視ができ、より生産的になります。

以前Oozieのバックエンドでサブミットするアプリをリリースしましたが、最近のSpark SummitOoyalaEvanのチームによってコントリビュートされた、Spark Job Server (SPARK-818) に変更しました。この新しいサーバーはSparkとの実際の双方向性を有効にし、コミュニティに近づいています。

{{< youtube lWKxtvUMcGw >}}

 

私たちはコミュニティと一緒に作業して、将来的にPython、Javaのサポート、コンパイル/アップロードなく直接ジョブをサブミット、その他の改善ができることを願っています!

いつものように、コメントがあれば hue-user リストあるいは @gethueまで!Job Serverに直接関する質問については、SPARK-818pull requestに参加するかSparkのメーリングリストまで!

始めましょう!

現在、Scalaジョブのみがサポートされており、プログラムはこのトレイトを実装してjarにパッケージする必要があります。これがWordCountの例です。Spark Job Serverについて学習するにはREADMEを確認して下さい。

要件

システムにはScalaがインストールされていると仮定しています。

Spark Job Serverを取得する

現在githubのこのbranchにあります:

git clone https://github.com/ooyala/incubator-spark.git spark-server
cd spark-server
git checkout -b jobserver-preview-2013-12 origin/jobserver-preview-2013-12

それからこのように入力します:

sbt/sbt
project jobserver
re-start

Hueを取得する

現在githubのみにあります (CDH5b2に含まれる予定です):

https://github.com/cloudera/hue#getting-started

HueとSpark Job Serverが同じマシンにない場合、desktop/conf/pseudo-distributed.iniにあるhue.iniのプロパティを更新します:

[spark]
  # URL of the Spark Job Server.
  server_url=http://localhost:8090/

実行するためにSparkのサンプルを取得する

その後、このThen follow this 手順(ウォークスルー) に従い、ビデオのデモで使用しているサンプルのjarを作成します。