2015-07-08-analyse-des-donnees-des-velib-de-san-francisco-avec-solr-search-et-un-spark-notebook.md 3.2 KB


title: Analyse des données des “Velib” de San Francisco avec Solr Search et un Spark Notebook author: admin type: post date: 2015-07-08T16:46:45+00:00 url: /analyse-des-donnees-des-velib-de-san-francisco-avec-solr-search-et-un-spark-notebook/ sf_thumbnail_type:

  • none sf_thumbnail_link_type:
  • link_to_post sf_detail_type:
  • none sf_page_title:
  • 1 sf_page_title_style:
  • standard sf_no_breadcrumbs:
  • 1 sf_page_title_bg:
  • none sf_page_title_text_style:
  • light sf_background_image_size:
  • cover sf_social_sharing:
  • 1 sf_sidebar_config:
  • left-sidebar sf_left_sidebar:
  • Sidebar-2 sf_right_sidebar:
  • Sidebar-1 sf_caption_position:
  • caption-right sf_remove_promo_bar:
  • 1 categories:

Dans ce tutoriel, nous utilisons les données publiques de Bay Area BikeShare afin de visualiser les déplacements en vélo des utilisateurs et ainsi mieux comprendre l'utilisation de la plate-forme. Nous utiliserons Hue qui fournit un tableau de bord dynamique pour chercher ainsi que son nouveau Spark Notebook pour enrichir les données.

Nous vous recommandons de commencer avec le jeu de données http://www.bayareabikeshare.com/datachallenge  mais pour les gens impatients, nous fournir un sous-ensemble des voyages  prêts à être indexées ainsi que les données météorologiques à traiter plus tard avec Spark. Le Notebook peut être téléchargé et importé ou tout simplement copie collé depuis ici.

 

Cette démo combinée avec la présentation en temps réel en streaming Spark ont été présentés à des conférences comme Hadoop Summit et Big Data Day LA .

Bon Vélo!

{{< vimeo 132834405 >}}

Video en Anglais, avec un accent Francais 😉

 

Comme d'habitude hésitez pas à commenter sur la liste utilisateur ou  @gethue !

 

Conseil

Un moyen rapide pour indexer les données avec Solr:

{{< highlight bash >}}
bin/solr create_collection  -c  bikes

URL=http://localhost:8983/solr
u="$URL/bikes/update?commitWithin=5000"
curl $u -data-binary @/home/test/index_data.csv -H 'Content-type:text/csv'
{{< /highlight >}}