2013-11-27-hadoop-tutorial-create-hive-tables-with-headers-and.md 2.5 KB


title: Hiveテーブルの作成とクォートされたCSVデータのロード author: Hue Team type: post date: 2013-11-27T23:59:25+00:00 url: /hadoop-tutorial-create-hive-tables-with-headers-and/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right slide_template:
  • default sf_custom_excerpt:
  • | HueはHiveテーブルの作成を簡単にします。 HUE-1746では、Hueがデータを直接調べることで、列名と型(整数、文字列、浮動小数点など)を推測します。データの先頭がヘッダから... categories:
  • Hive
  • Metastore
  • Tutorial
  • Video

HueはHiveテーブルの作成を簡単にします。

HUE-1746では、Hueがデータを直接調べることで、列名と型(整数、文字列、浮動小数点など)を推測します。データの先頭がヘッダから始まっている場合、ヘッダ行が自動的に使用され、テーブルの作成時にヘッダ行をスキップします。

クォートされたCSVのフィールドも、HUE-1747のおかげで互換性を持ちます。

{{< youtube RxT0M8JgvOk >}}

これが使用しているデータファイルです:

http://www.fdic.gov/bank/individual/failed/banklist.html

こちらはクォートされたCSVを読むためのSerDeです:

https://github.com/ogrodnek/csv-serde

そして、テーブルがSerDeを使用するようにするためのコマンドです:

ALTER TABLE banks SET SERDE 'com.bizo.hive.serde.csv.CSVSerde'

さぁ、HiveImpala、またはPigエディタでデータを分析しましょう!