2013-12-30-mr1でのjobtracker高可用性ha.md 3.5 KB


title: MR1でのJobTracker高可用性(HA) author: Hue Team type: post date: 2013-12-30T23:59:57+00:00 url: /mr1でのjobtracker高可用性ha/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right slide_template:
  • default sf_custom_excerpt:
  • JobTrackerがダウンすると、Hueはファイルブラウザでジョブを表示したり、正しいクラスタにジョブをサブミットできなくなります。MR1では、... categories:
  • Job Browser
  • MapReduce

JobTrackerがダウンすると、Hueはファイルブラウザでジョブを表示したり、正しいクラスタにジョブをサブミットできなくなります。

 

MR1では、Hadoopは2つのJobTrackerをサポートすることができ、マスターのJobTrackerはスタンバイのJobTrackerにフェイルオーバすることができ、故にJobTrackerの高可用性を提供しています。 Hue 3.5CDH5beta1 (とおそらくCDH4.6)ではどのようにしているかを見てみましょう。

 

: MR1のHueはJobTrackerと通信するためにpluginを使用しています。これはCDH、あるいはHadoop 0.23 / 1.2.0に設定することができます。 (MAPREDUCE-461)

 

hue.iniで2つのJobTrackerを設定します:

[hadoop]
  ...

  [[mapred_clusters]]

    [[[default]]]
      # Enter the host on which you are running the Hadoop JobTracker
      jobtracker_host=host-1

      # Whether to submit jobs to this cluster
      submit_to=True

    [[[ha-standby]]]
      # Enter the host on which you are running the Hadoop JobTracker
      jobtracker_host=host-2

      # Whether to submit jobs to this cluster
      submit_to=True

 

これだけです! Hueは自動的に2つの利用可能なJobTrackerと通信します!

 

Oozieのジョブでは注意が必要です。Oozieはジョブを再度サブミットしようとしますが、論理名が必要です(HUE-1631)。Hueでこれを有効にするには、MapReduceクラスタそれぞれで指定します。例: 

 

[hadoop]
  [[mapred_clusters]]
    [[[default]]]
      # JobTracker logical name.
      ## logical_name=MY_NAME

いつものように、コメントがあれば hue-user リストまたは@gethueまで!