title: MR1でのJobTracker高可用性(HA) author: Hue Team type: post date: 2013-12-30T23:59:57+00:00 url: /mr1でのjobtracker高可用性ha/ sf_thumbnail_type:
JobTrackerがダウンすると、Hueはファイルブラウザでジョブを表示したり、正しいクラスタにジョブをサブミットできなくなります。
MR1では、Hadoopは2つのJobTrackerをサポートすることができ、マスターのJobTrackerはスタンバイのJobTrackerにフェイルオーバすることができ、故にJobTrackerの高可用性を提供しています。 Hue 3.5とCDH5beta1 (とおそらくCDH4.6)ではどのようにしているかを見てみましょう。
注: MR1のHueはJobTrackerと通信するためにpluginを使用しています。これはCDH、あるいはHadoop 0.23 / 1.2.0に設定することができます。 (MAPREDUCE-461)
hue.iniで2つのJobTrackerを設定します:
[hadoop]
...
[[mapred_clusters]]
[[[default]]]
# Enter the host on which you are running the Hadoop JobTracker
jobtracker_host=host-1
# Whether to submit jobs to this cluster
submit_to=True
[[[ha-standby]]]
# Enter the host on which you are running the Hadoop JobTracker
jobtracker_host=host-2
# Whether to submit jobs to this cluster
submit_to=True
これだけです! Hueは自動的に2つの利用可能なJobTrackerと通信します!
Oozieのジョブでは注意が必要です。Oozieはジョブを再度サブミットしようとしますが、論理名が必要です(HUE-1631)。Hueでこれを有効にするには、MapReduceクラスタそれぞれで指定します。例:
[hadoop]
[[mapred_clusters]]
[[[default]]]
# JobTracker logical name.
## logical_name=MY_NAME