Dans le cadre du Spark Summit de San Francisco, Microsoft vient d’annoncer une meilleure intégration de Spark au sein de son écosystème d’outils Big Data Analytics. Les entreprises utilisant Cortana Intelligence Suite, Power BI ou Microsoft R Server pourront désormais bénéficier de la rapidité de Spark.
En juillet dernier, Microsoft lançait la public preview de Spark pour Azure HDInsight. Aujourd’hui, la version finale est disponible et se présente comme « un service entièrement géré par Hortonworks, renforcé pour les entreprises et simplifié pour les utilisateurs », selon le billet d’annonce publié sur le blog de la firme de Redmond.
Spark a vu le jour en tant que projet open source à l’Université de Californie, dans l’AMPLab de Berkeley en 2009. Il fût ensuite offert à la Apache Foundation en 2012. Afin de poursuivre le développement du projet, une entreprise baptisée DataBricks fût formée.
Le principal avantage de Spark est l’accélération qu’il apporte à Hadoop, le principal logiciel utilisé pour l’analyse de Big Data. En règle générale, Hadoop exécute un batch process basé sur un disque dur. Cette tâche prend souvent toute la nuit, et les informations peuvent être récupérées le lendemain. C’est pourquoi, malgré la promesse offerte par le Big Data d’une analyse en temps réel, la réalité était souvent loin du compte.
De son côté, Sparks exécute tous les processus directement en mémoire et peut donc effectuer les analyses 100 fois plus vite qu’Hadoop. Cet outil s’approche par conséquent de l’analyse en temps réel, et connaît un succès de plus en plus croissant.
Les autres annonces concernant Spark et le Big Data
Outre les nouveautés concernant Azure HDInsight, Microsoft a levé le voile sur d’autres annonces liées à Sparks et plus généralement au Big Data sur son blog et durant le sommet.
R Server pour HDInsight sur le cloud propulsé par Spark : Précédemment annoncé comme public preview, le R Server pour HDInsight sera disponible pour tous dès cet été. en conséquence, Spark sera disponible aussi bien on premises que sur le cloud. Le code pourra être transféré de l’un à l’autre en quelques clics seulement.
R Server pour Hadoop on premisess désormais propulsé par Spark : R server pour Hadoop prendra en charge à la fois Microsoft R et l’exécution native de frameworks Spark à partir du mois de juin. La combinaison entre R Server et Spark donne aux utilisateurs la possibilité de lancer des fonctionnalités de R à travers des milliers de nœuds Spark. Elle offre l’opportunité de tester des modèles sur des ensemble de données 1000 fois plus larges et 100 fois plus rapidement que sur le R open source, et presque deux fois plus vite que sur le MLLib de Spark.
Power BI prend en charge Spark Streaming : Précédemment annoncé en même temps que la sortie défintive de Power BI, la prise en charge de Spark par Power BI est désormais étendue à Spark Streaming. Les utilisateurs pourront ainsi publier des événements en temps réel depuis Spark Streaming directement sur l’un des outils de visualisation les plus performants de ces dernières années.
Le R Client gratuit pour les Data Scientists : Microsoft vient de présenter R Client, un outil disponible gratuitement pour les Data Scientists, leur permettant de développer des outils analytiques très puissants en utilisant R. Le R Client propose d’utiliser toutes les fonctionnalités de R pour analyser les données présentes sur un poste de travail, et permettra également d’analyser des Big Data à distance. L’outil peut effectuer des analyses sur n’importe quel serveur Microsoft R Server, comme SQL Server R Services, R Server for Hadoop ou encore HD Insight avec Spark.
Cet article Microsoft déploie Spark pour ses outils Big Data a été publié sur LeBigData.fr.