2013-11-08-hadoopチュートリアル・シリーズ-ii-8-sqoop2でhadoopからデータを.md 5.4 KB


title: 'Hadoopチュートリアル・シリーズ II: 8. Sqoop2でHadoopからデータを転送する方法' author: Hue Team type: post date: 2013-11-08T23:59:15+00:00 url: /hadoopチュートリアル・シリーズ-ii-8-sqoop2でhadoopからデータを/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right slide_template:
  • default sf_custom_excerpt:
  • Apache Sqoopは、Hadoopと(ファイルやデータベースにある)データを受け渡しを行うのに素晴らしいツールです。Hue 3ではSqoop2を簡単に使用するための新しいアプリが... categories:
  • Full tutorial
  • Sqoop
  • Tutorial
  • Video

原文)間違いを見つけた場合はご指摘下さい

Apache Sqoopは、Hadoopと(ファイルやデータベースにある)データを受け渡しを行うのに素晴らしいツールです。Hue 3ではSqoop2を簡単に使用するための新しいアプリが追加されています。

 

Hadoopチュートリアルシリーズ・シーズン2での最後のエピソードは(以前はSearchについてでした)、Yelpの結果をMySqlのテーブルにエクスポートすることが、いかに簡単になっているかをご覧に入れましょう。

 

{{< youtube zCE7N0PV7R4 >}}

 

Sqoop2は、現在Comma Separated Values(CSV)ファイルのみが使えます。 Pig scriptPig Editorを用いて私たちのデータ分析をこのフォーマットで保存しましょう。

 

続いてビデオで詳細をご覧いただいたように、エクスポートジョブを指定して、前のPigジョブの出力を入力パスに設定します。データはHDFS内ににあり、パスは一つのファイルかディレクトリかのいずれかが可能です

 

前にこのSQL スクリプトで、MySqlの’stats’テーブルを作成しました。このテーブルにはエクスポートされたデータが保存されることになります。

 

これはジョブのプロパティです。これらは以前のSqoop Appブログポストで詳細を説明しています。

 

Table name: yelp_cool_test
Input directory: /user/hdfs/test_sqoop
Connector: mysql
JDBC Driver Class : com.mysql.jdbc.Driver
JDBC Connection String: jdbc:mysql://hue.com/test

 

続いて’Save & Excute’をクリックします。さぁ、これでデータはMySqlで利用可能になっています!

 

mysql> select * from yelp_cool_test limit 2;
+------+------+------+------+
| a    | b    | c    | d    |
+------+------+------+------+
|    1 |    2 |    3 |    4 |
|    2 |    3 |    4 |    5 |
+------+------+------+------+
2 rows in set (0.00 sec)

 

HiveやHBaseに格納されたデータは、まだSqoop2ではネイティブで使用することはできません。(効率は悪いですが)現在のワークアラウンドはHiveあるいはPigでデータをHDFSのディレクトリにダンプし、それから類似のSqoopエクスポートを行うようになるでしょう。

 

いつものように、ご質問やフィードバックがあれば、hue-user や @gethue.comまでお気軽にお尋ね下さい!

シーズン2をご覧いただきありがとうございました。ダイヤルはそのまま、シーズン3はもうすぐです!