--- title: HueでのAmazon S3サポートの紹介 author: Hue Team type: post date: 2016-08-25T14:47:45+00:00 url: /introducing-s3-support-in-hue/ sf_thumbnail_type: - none sf_thumbnail_link_type: - link_to_post sf_detail_type: - none sf_page_title: - 1 sf_page_title_style: - standard sf_no_breadcrumbs: - 1 sf_page_title_bg: - none sf_page_title_text_style: - light sf_background_image_size: - cover sf_social_sharing: - 1 sf_sidebar_config: - left-sidebar sf_left_sidebar: - Sidebar-2 sf_right_sidebar: - Sidebar-1 sf_caption_position: - caption-right sf_remove_promo_bar: - 1 sf_custom_excerpt: - 私たちはHue 3.11 リリース での HueとAmazon S3 (Amazon Simple Storage Service) の統合の正式な紹介ができることに非常に興奮しています。Hueは 設定されたS3アカウントに読み書きするようにセットアップでき、ユーザはHDFSに中間データとして移動/コピーせず、S3に直接問い合わせを行い、データをS3に保存できます。 categories: - File Browser - Hue 3.11 - Metastore ---
私たちはHue 3.11 リリース での HueとAmazon S3 (Amazon Simple Storage Service) の統合の正式な紹介ができることに非常に興奮しています。Hueは 設定されたS3アカウントに読み書きするようにセットアップでき、ユーザはHDFSに中間データとして移動/コピーせず、S3に直接問い合わせを行い、データをS3に保存できます。
## HueにおけるS3の設定 {.p3}Hueのファイルブラウザは、HDFSに加えて、ユーザーがS3アカウントでデータを探索、管理、アップロードできるようになりました。
HueにS3のアカウントを追加するには、アクセスキーIDとシークレットアクセスキーを含め、有効なS3の資格情報を使用してHueを設定する必要があります。 http://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSGettingStartedGuide/ AWSCredentials.html
これらのキーは、Hueによって読み込まれる、実際のアクセスキーと秘密鍵を標準出力に出力するスクリプト内にセキュアに保存できます。(これはどのようにHueがパスワードのスクリプトを読み込むかに似ています。スクリプトファイルを使用するためには、hue.ini設定ファイルに次のセクションを追加します:
[aws]
[[aws_accounts]]
[[[default]]]
access_key_id_script=/path/to/access_key_script
secret_access_key_script= /path/to/secret_key_script
allow_environment_credentials=false
region=us-east-1
あるいは(本番環境やセキュア環境では推奨しませんが)、access_key_idとsecret_access_keyを、あなたのキーをプレーンテキストで値を設定できます:
[aws]
[[aws_accounts]]
[[[default]]]
access_key_id=s3accesskeyid
secret_access_key=s3secretaccesskey
allow_environment_credentials=false
region=us-east-1
このリージョンは、S3アカウントに対応したAWSのリージョンに設定する必要があります。 デフォルトでは、リージョンは ‘us-east-1’に設定されます
### HadoopとS3の統合 {.p3}
S3の資格情報でHueを設定することに加えて、S3から読み出してS3に保存するには、HadoopもS3認証資格情報で設定する必要があります。 これはcore-site.xmlファイルに次のプロパティを設定することによって行うことができます:
<property>
<name>fs.s3a.awsAccessKeyId</name>
<value>AWS access key ID</value>
</property/>
<property>
<name>fs.s3a.awsSecretAccessKey</name>
<value>AWS secret key</value>
</property/>
詳細についてはhttp://wiki.apache.org/hadoop/AmazonS3を参照してください
navigation:HueとHadoopを設定し、Hueを再起動して設定ページを確認することで、HueがS3アカウントに正常に接続できることが確認できます。また、メインナビゲーションのファイルブラウザメニューにドロップダウンオプションが追加されていることがわかるでしょう
[
][1]
## {.p3}
## HueのファイルブラウザでS3を探索する {.p3}
HueがS3に接続するように構成されると、S3のルート(root)をクリックすることでアカウント内のアクセス可能なすべてのバケットを表示できます。
ユーザーは、このビューから新しいバケットを作成したり、既存のバケットを削除することもできます。
#### 注:一意のバケット名 ❗️ S3バケット名は、 _すべてのリージョン_で一意である必要があります 。予約した名前でバケットを作成または名前を変更しようとすると、Hueがエラーになります。ただし、ほとんどの場合、ユーザーはバケット内のキーを使用して直接作業します。バケット・ビューから、ユーザーはバケットをクリックしてそのコンテンツを展開することができます。 ここから、既存のキー(ディレクトリとファイルの両方)を表示したり、既存のディレクトリやファイルを作成、名前変更、移動、コピー、または削除することができます。さらに、S3にファイルを直接アップロードすることもできます