2015-04-25-new-notebook-application-for-spark-sql-2.md 6.1 KB


title: Spark&SQLのための、新しいノートブックアプリケーションのベータ版 author: Hue Team type: post date: 2015-04-25T02:18:38+00:00 url: /new-notebook-application-for-spark-sql-2/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right sf_remove_promo_bar:
  • 1 sf_custom_excerpt:
  • 昨年、私たちは開発者がウェブインタフェースを介してSparkジョブを投入することができるSpark Igniterをリリースしました 。このアプローチが動作している間、UXが望まれたために多くを残しました。プログラムではインタフェースを実装する必要があり、事前にコンパイルされていなければならず、YARNのサポートが欠けていました。私たちは、REPLを使用するのと同様の、対話形式で反復型のプログラミングの経験を提供することにフォーカスし、PythonとScalaのサポートも追加したいと考えていました。 categories:
  • Hive
  • Hue 3.8
  • Impala
  • Spark

昨年、私たちは開発者がウェブインタフェースを介してSparkジョブを投入することができるSpark Igniterをリリースしました 。このアプローチが動作している間、UXが望まれたために多くを残しました。プログラムではインタフェースを実装する必要があり、事前にコンパイルされていなければならず、YARNのサポートが欠けていました。私たちは、REPLを使用するのと同様の、対話形式で反復型のプログラミングの経験を提供することにフォーカスし、PythonとScalaのサポートも追加したいと考えていました。 notebook-1  このため、私たちはこれらの不足している機能を提供することができるSpark REST Job Serverの開発を新たに始めました。その上に、私たちはPythonのNotebookのような雰囲気を提供するためのUIを刷新しました。

この新しいアプリケーションはかなり新しく、「ベータ版」として位置付けされていることにご注意ください。これは、それを試して貢献するのをお勧めすることを意味していますが、UXが多く進化していくため、その使用はまだ正式にはサポートされていません!

この投稿は、Webアプリケーションの一部を説明しています。私たちはSpark 1.3Hue マスターブランチを使用しています   {{< youtube kIXBL7u_NOk >}}

これは、以下の新しい機能をベースにしています:

サポート:

  • Scala
  • Python
  • Java
  • SQL
  • YARN

Sparkアプリが「エディタ」メニューに表示されていない場合は、hue.iniから非ブラックリストする必要があります :

[desktop]
app_blacklist=

Hueと同じマシンでHueホームに移動します。

 

パッケージを使用してインストールしている場合:

cd /usr/lib/hue

 

Cloudera Managerを使用している場合:

cd /opt/cloudera/parcels/CDH/lib/
HUE_CONF_DIR=/var/run/cloudera-scm-agent/process/-hue-HUE_SERVER-id
echo $HUE_CONF_DIR
export HUE_CONF_DIR

そしてSpark Job Serverを起動します:

./build/env/bin/hue livy_server

hue.iniでこれらのプロパティを変更することで、セットアップをカスタマイズできます:

[spark]
# URL of the REST Spark Job Server.
server_url=http://localhost:8090/

# List of available types of snippets
languages='[{"name": "Scala", "type": "scala"},{"name": "Python", "type": "python"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'

# Uncomment to use the YARN mode
## livy_server_session_kind=yarn

さて、次は!

このベータ版は良い機能セットをもたらし、より多くが予定されています 。長期的には、すべてのクエリエディタ(例えばPig、DBquery、Pheonix…)がこの共通インターフェースを使用することを期待しています。その後、ビジュアルダッシュボードを作るために、個々のスニペットはドラッグ&ドロップできるようになり、ノートブックはDropboxやGoogle docsのように埋め込むことができるようになるかもしれません。

私たちは、新しいSpark REST Job Serverのフィードバックをいただくことにも関心があり、コミュニティがこれについてどのように考えているかを見ています (貢献を歓迎します;)

いつものように、コメントとフィードバックは hue-user メーリングリストや@gethueまでお気軽に!