2015-07-08-analizziamo-i-dati-bikeshare-della-bay-area-con-solr-search-e-spark-notebook.md 3.1 KB


title: Analizziamo i dati BikeShare della Bay Area con Solr Search e Spark Notebook! author: admin type: post date: 2015-07-08T18:08:12+00:00 url: /analizziamo-i-dati-bikeshare-della-bay-area-con-solr-search-e-spark-notebook/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_author_info:
  • 1 sf_social_sharing:
  • 1 sf_related_articles:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right categories: ---

In questo tutorial usiamo i dati pubblici di Bay Area BikeShare per visualizzare i pattern dei viaggi in bicicletta e degli utenti, cosi' da capire come la Bay Area si muove sulle due ruote. Hue shippa (scusate l'inglesismo) una Search Dashboard dinamica cosi' come il nuovo Spark Notebook che utilizzeremo per arricchire i dati.

Raccomandiamo di partire con il dataset di http://www.bayareabikeshare.com/datachallenge ma per i piu' impazienti abbiamo caricato un estratto dei dati pronto per essere indicizzato. Qui invece potete trovare i dati relativi al meteo che utilizzeremo in Spark.

Il Notebook Hue puo' essere scaricato e importato o potete fare direttamente copia e incolla.

 

Questa demo assieme a Real-time Spark Streaming e' stata presentata a conferenze come Hadoop Summit e Big Data Day LA.

Buona biciclettata!

 

{{< youtube K5SNB1bSxgk >}}

 

Esempio di una dashboard interattiva creata semplicement con Drag&Drop

 

Come al solito commentate pure sulla lista hue-user o su Twitter @gethue!

 

Snippetina salvavita

Un modo veloce per indicizzare i dati con Solr:



bin/solr create_collection  -c  bikes

URL=http://localhost:8983/solr

u="$URL/bikes/update?commitWithin=5000"

curl $u -data-binary @/home/test/index_data.csv -H 'Content-type:text/csv'