2020-04-27-sql-editor-for-apache-spark-sql-with-livy.md 3.2 KB


title: Livy を使用した Apache Spark SQL 用の SQL エディタ author: Romain type: post date: 2020-04-27T00:00:00+00:00 url: /blog/quick-task-sql-editor-for-apache-spark-sql-with-livy/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_related_articles:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right sf_remove_promo_bar:
  • 1 ampforwp-amp-on-off:
  • default categories:
  • Querying
  • Version 4

    - Version 4.8


Spark SQL

Spark SQL は、Spark アプリ内にクリーンなデータクエリーのロジックを埋め込むのに便利です。Hue には便利なエディタが付属しているので、SQL スニペットの開発が簡単になります。

ドキュメントに記載されている通り、Spark SQL はさまざまなコネクターが一緒になっています。ここでは Livy を紹介します。

Apache Livy は実行中の Spark インタープリターへのブリッジを提供するので、SQL、pyspark、scala のスニペットを対話的に実行できるようにします。

hue.ini で、API の URL を設定します。

[spark]
# The Livy Server URL.
livy_server_url=http://localhost:8998

そしていつものように、設定したインタープリターを確認してください。

[notebook]
[[interpreters]]
[[[sparksql]]]
name=Spark SQL
interface=livy

そうすることで、エディターが表示されます。

Hue Spark Sql Editor

Hue を使用する利点の一つは、HDFS / S3 / Azure 用のファイルブラウザー と、完全なセキュリティ(KerberosとKnox IdBroker の統合を介して実際のユーザーの資格情報を使用することさえも)です。

Hue Phoenix Editor

今後の改善点を紹介します。

  • データベース/テーブル/列の自動補完は現在空です
  • SQL文法の自動補完は拡張できます
  • ミニSQLエディターのポップアップを可能にするSQL Scratchpad モジュールは現在進行中です

フィードバックやご質問はありますか?こちら、またはフォーラム and quick start で気軽にコメントして、SQLクエリのクイックスタートをしましょう!

Romain from the Hue Team