2015-07-08-bay-area-bikeshare-data-analysis-with-search-and-spark-notebook-2.md 4.0 KB


title: SearchとSparkノートブックでベイエリアのBikeShareデータを解析 author: Hue Team type: post date: 2015-07-08T10:35:55+00:00 url: /bay-area-bikeshare-data-analysis-with-search-and-spark-notebook-2/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right sf_remove_promo_bar:
  • 1 sf_custom_excerpt:
  • このチュートリアルはBay Area BikeShare のパブリックデータを使用し、プラットフォームの利用量をさらに理解するために、自転車の移動パターンとそのユーザーを可視化します。Hueではデータを充実させるために、動的な検索ダッシュボードだけでなく、新しくSparkのノートブックも提供しています。 categories:
  • Hue 3.9
  • Search
  • Spark
  • Tutorial

このチュートリアルはBay Area BikeShare のパブリックデータを使用し、プラットフォームの利用量をさらに理解するために、自転車の移動パターンとそのユーザーを可視化します。Hueではデータを充実させるために、動的な検索ダッシュボードだけでなく、新しくSparkのノートブックも提供しています。

私たちはhttp://www.bayareabikeshare.com/datachallengeのデータセットを用いて始めることをお勧めしますが、せっかちな方のために、インデックス作成の準備ができた一部の移動(trips)データも、また、後ほどSparkにより処理される気象データ(weather data)も提供しています。Hueのノートブックはダウンロードしてインポート、または単純にコピーしてペーストすることができます 。

 

このリアルタイムSpark Streamingを組み合わせたデモは、Hadoop SummitおよびBig Data Day LAのようなカンファレンスで紹介しています 。

Happy Biking!

 

{{< youtube K5SNB1bSxgk >}}

 

solr-bike-dashboard

ドラッグ&ドロップで作成されたインタラクティブなダッシュボードの例

 

いつものように、コメントとフィードバックは hue-user メーリングリストや@gethueまでお気軽に!

 

ヒント

Solrでデータをインデックスする簡単な方法:

bin/solr create_collection  -c  bikes

URL=http://localhost:8983/solr
u="$URL/bikes/update?commitWithin=5000"
curl $u --data-binary @/home/test/index_data.csv -H 'Content-type:text/csv'