--- title: MR1でのJobTracker高可用性(HA) author: Hue Team type: post date: 2013-12-30T23:59:57+00:00 url: /mr1でのjobtracker高可用性ha/ sf_thumbnail_type: - none sf_thumbnail_link_type: - link_to_post sf_detail_type: - none sf_page_title: - 1 sf_page_title_style: - standard sf_no_breadcrumbs: - 1 sf_page_title_bg: - none sf_page_title_text_style: - light sf_background_image_size: - cover sf_social_sharing: - 1 sf_sidebar_config: - left-sidebar sf_left_sidebar: - Sidebar-2 sf_right_sidebar: - Sidebar-1 sf_caption_position: - caption-right slide_template: - default sf_custom_excerpt: - JobTrackerがダウンすると、Hueはファイルブラウザでジョブを表示したり、正しいクラスタにジョブをサブミットできなくなります。MR1では、... categories: - Job Browser - MapReduce ---
JobTrackerがダウンすると、Hueはファイルブラウザでジョブを表示したり、正しいクラスタにジョブをサブミットできなくなります。
MR1では、Hadoopは2つのJobTrackerをサポートすることができ、マスターのJobTrackerはスタンバイのJobTrackerにフェイルオーバすることができ、故にJobTrackerの高可用性を提供しています。 Hue 3.5と[CDH5beta1][1] (とおそらくCDH4.6)ではどのようにしているかを見てみましょう。 注: MR1のHueはJobTrackerと通信するために[plugin][2]を使用しています。これはCDH、あるいはHadoop 0.23 / 1.2.0に設定することができます。 ([MAPREDUCE-461][3]) hue.iniで2つのJobTrackerを設定します:[hadoop]
...
[[mapred_clusters]]
[[[default]]]
# Enter the host on which you are running the Hadoop JobTracker
jobtracker_host=host-1
# Whether to submit jobs to this cluster
submit_to=True
[[[ha-standby]]]
# Enter the host on which you are running the Hadoop JobTracker
jobtracker_host=host-2
# Whether to submit jobs to this cluster
submit_to=True
これだけです! Hueは自動的に2つの利用可能なJobTrackerと通信します!
Oozieのジョブでは注意が必要です。Oozieはジョブを再度サブミットしようとしますが、論理名が必要です([HUE-1631][4])。Hueでこれを有効にするには、MapReduceクラスタそれぞれで指定します。例:
[hadoop]
[[mapred_clusters]]
[[[default]]]
# JobTracker logical name.
## logical_name=MY_NAME
いつものように、コメントがあれば[ hue-user][5] リストまたは@gethueまで!