Syncsort: Intégration de données dans un contexte bigdata hadoop dans News Techno syncsort

La société Syncsort est venu nous présenter sa solution d’ETL big data sur Hadoop. Leur proposition de valeur : diminuer les coûts des systèmes décisionnels big data.

Pour cela, ils proposent d’une part une interface graphique de développement de mappers et reducers qui permet de minimiser le hand-coding en java. D’autre part, ils offrent des composants optimisés en performances qui permettent de réduire la facture de matériel.

Cela passe notamment par un composant de tri optimisé, et par un connecteur de chargement  / compression HDFS 6 fois plus performant qu’un chargement brut via la ligne de commande hadoop. Par sa vitesse, ce composant de chargement permet  d’approcher de la BI temps réel; il permet également de réduire les coûts de stockage.

Syncsort nous présente un cas client qui donne le vertige : sur un cas de clickstream analysis, 1000 lames sont utilisées pour gérer 32 milliards d’événements par jour. La compression de données permet d’économiser 75 To d’espace disque par jour !

La vidéo et les diapos de la session sont disponibles sur OCTO TV.

Charger d'autres articles liés
Charger d'autres écrits par axileo
Charger d'autres écrits dans News Techno

Laisser un commentaire

Consulter aussi

Avec BrainNet, trois personnes peuvent désormais communiquer par la pensée.

Une équipe de l’université de Washington a mis au point une interface qui permet aux cerve…