Deux bonnes nouvelles en même temps !

Trop de bonheur :

- une session de formation pour découvrir et profiter des apports de l’outil Bayesialab,

- une adresse pour découvrir, s’initier et se laisser conquérir par les apports de cette technologie.

Bayesia organise une nouvelle session de formation inter-entreprises sur la modélisation de connaissance, l’analyse de données et l’analyse causale avec les réseaux Bayésiens. Les bases théoriques des réseaux Bayésiens étant couvertes lors de cette formation, aucune connaissance préarable dans ce domaine n’est requise. Chaque participant aura accès à une licence de 60 jours de BayesiaLab Professional Edition 5.0.

Formation de 3 jours sur le data mining, la modélisation de connaissance, et l’analyse causale avec des réseaux Bayésiens – Paris, 7-9 Décembre

La date limite d’inscription est fixée au 1er décembre.

Cliquez ici pour de plus amples informations

Précédantes informations

BayesiaLab 5.0

Nous avons le plaisir d’annoncer un grand nombre d’innovations majeures dans cette nouvelle version de BayesiaLab :

• Environnement innovant d’élicitation des connaissances expertes : un module entièrement nouveau permet de collecter indépendamment la connaissance des experts via une interface web conviviale hébergée sur notre site sécurisé. L’expertise individuelle  de chaque expert peut alors être intégrée formellement pour générer un réseau Bayésien, tout en évitant les biais cognitifs classiques des sessions de BrainStorming. N’hésitez pas à consulter la présentation complète de ce nouvel outil ;
• Inférence causale : BayesiaLab 5.0 devient le premier progiciel à proposer une implémentation ergonomique de l’opérateur Do-Calculus défini par Pearl. Cet opérateur permet aux analystes de simuler l’impact des interventions sur les variables pour l’analyse formelle des politiques, par opposition aux simples observations des états de ces variables. En outre, l’ensemble des outils d’analyse de BayesiaLab est totalement compatible avec ce nouveau type d’inférence causale ;
• Multi-Quadrants : Idéal pour les problématiques dans lesquelles vos données contiennent une variable « pivot » telle que « Identificateur Produit » ou encore « Pays/région ». Un graphe d’opportunités spécifique permet de mener une analyse comparative des leviers sur les différentes modalités de la variable pivot, et d’utiliser ces résultats dans l’outil de Profil Dynamique de la Cible (PDC) pour trouver des politiques optimales réalistes (voir l’analyse du marché des parfums avec les Equations Structurelles Probabilistes, où la variable pivot est la variable Produit) ;
• Arbre d’optimisation de la cible : Alors que le PDC produit la politique optimale, l’arbre d’optimisation décrit un ensemble de politiques d’optimisation alternatives (avec des observations et/ou des interventions) ;
• BayesiaLab Analyst Edition : Cette nouvelle version de BayesiaLab est une Professional Edition en lecture seule permettant aux analystes de partager leurs modèles avec une audience plus large, incluant les décideurs, afin qu’ils puissent profiter de la dynamique des réseaux Bayésiens. Cette édition représente donc un bon outil pour promouvoir l’importance des réseaux Bayésiens pour l’aide à la décision dans les organisations.

Voir l’ensemble des nouvelles fonctionnalités de BayesiaLab 5.0 en détail »

Téléchargez dès maintenant BayesiaLab 5.0 pour une nouvelle période d’essai de 30 jours »

Merci Lionel pour ces initiatives.

Un petit article avant les vacances pour vanter la performance d’un outil de Data Mining qui mérite vraiment d’être utilisé et connu.

Je suis un utilisateur de Datalab depuis sa version 1 et j’ai pu suivre la croissance de la maturité du produit dans le temps. Il mérite son  qualificatif de « MMM : Magical Mining Machine » car il permet pour un « non expert » du data mining de réaliser une large palette de traitements comme des segmentations, des scores en garantissant un résultat proche de l’optimum dans un délai court.

Un expert pourra l’utiliser en complément des solutions SAS ou SPSS pour accélérer certaines phases d’audit, de discrétisation ou de recherche des relations entre variables (les phases amont de l’étude) et ensuite repivoter dans son outil préféré pour passer en mode programme (Datalab ne génère pas de code pour industrialiser les accès à des bases de données … il est un outil de découverte et pas un outil d’industrialisation du data mining). Les « codeurs SAS » trouveront donc cette limite.

Mais dans les aspects « découverte » il offre un périmètre très large d’interventions possibles …. Datalab est un peu le couteau suisse du data mining (facile, pratique et pas cher).

Datalab se caractérise depuis sa création par une logique « guidée » des différentes étapes de traitement d’une analyse de données qui permet de concilier rigueur  et délégation, car un « jeune statisticien » pourra suivre tranquillement les différentes étapes, le manager pouvant valider les étapes intermédiaires. Une logique qui se retrouvait dans les versions antérieures de SPAD.

Il n’est pas dans mon propos de détailler l’ensemble des fonctionnalités de Datalab (j’invite les curieux à télécharger une version de démonstration sur le site de Complex-Systems avec le lien suivant : http://www.complex-systems.fr/formulaire_demo.shtml), mais plutôt d’expliquer la philosophie, les avantages et certaines limites du produit.

Datalab décompose un traitement avec les étapes suivantes :

-          Importation, audit du fichier et typage des variables,

-          Statistiques descriptives et module de discrétisation,

-          Analyse croisée et recherche d’associations.

Cette première partie permet de prendre connaissance rapidement des données et de sélectionner rapidement les variables les plus pertinentes (avec des tests comme le Khi2).

Ensuite, Datalab propose de réaliser une très large palette de modèles

-          Un nouveau module d’associations permet de réaliser des analyses d’associations dans des fichiers en ligne et des fichiers en colonne. J’ai beaucoup apprécié la performance de la gestion des dates qui permet de construire des analyses de séquences avec une intégration des délais écoulés.

-          Un module d’analyse factorielle des correspondances qui permet d’analyser 5 axes (limites) et de positionner les groupes homogènes sur un plan factoriel

-          Un module de description des groupes créés qui permet de s’interfacer avec Excel pour produire des graphiques rapides.

Mais la spécificité de Datalab reste son « moteur » de construction de scores qui intègre un algorithme génétique pour tester les combinaisons de variables.

Concernant la réalisation d’un « bon score », nous dirons que deux écoles s’affrontent :

-          Ceux qui cherchent à limiter les interactions entre les variables pour respecter les principes d’indépendance,

-          Ceux qui cherchent à tirer profit des interactions entre les variables pour améliorer le pouvoir de prédiction du modèle.

J’avoue clairement que je suis plutôt dans la deuxième « école » et que j’aime analyser les interactions entre les variables «dites indépendantes » et la variable « cible » pour combiner et créer une nouvelle variable le cas échéant. Personnellement, je pense qu’il n’y a jamais indépendance entre l’âge, la situation de famille, la profession, la situation d’habitation … et une quelconque variable cible (comme l’achat d’une voiture). Le marketing et le risque doivent apprendre à vivre de ces « dépendances » qui font le charme de la vie … et le flair de l’expert. Devoir choisir LA variable parmi les 2 ou 3 variables corrélées sur l’autel du V de Cramer m’apparaît difficile et parfois incohérent au niveau fonctionnel. Donc je suis un adepte d’une introduction de règles de combinaison ou de « typologies » dans les scores (ce qui d’ailleurs est devenu une partie de ma « marque de fabrique »). A ce titre Datalab est une véritable mine d’inventivité à ma disposition pour « booster » les modèles et « gratter » les % de performance (et aussi de logique marketing).

Dans la construction d’un score avec Datalab il est possible de combiner les variables ou de les transformer un menu très riche qui combine les variables avec des opérateurs logique ou mathématiques !.

« ,&ç »,eù$* » …. devez vous penser ….

Mais qu’est-ce que je vais faire avec une variable comme (épargne/(age- ancienneté)/ nbre de personnes ……

Évidemment certaines combinaisons sont « curieuses », mais parfois on « pressent » une logique interne dans l’agrégat « qui émerge ». Un peu comme un lever de soleil sur le Grand Canyon, on commence à reconnaître les contours d’une structure ….

Et oui un peu comme votre capacité d’épargne dépendra du temps …et du nombre de personnes à nourrir …. Datalab peut vous guider avec quelques opérateurs pour vous faire comprendre que la distribution n’est peut être pas « normale » (au sens de la loi normale !) et dès lors les dernières zones d’ombre se lèvent.

Certes une formule de score est moins jolie qu’un lever de soleil sur le Grand Canyon, mais n’oubliez que les statistiques aiment laisser des « zones d’ombre » !

Mais, pour rassurer les puristes de l’indépendance, il reste toujours le choix :

-          Score sans transformation, ni combinaison (« la rigueur »)

-          Score intégrant des variables combinées ou transformées (« l’invention »).

Dans tous les cas la seconde variante « la plus inventive » est plus performante. Évidemment il importe de mesurer la robustesse (ce qui est possible avec la définition d’un échantillon de test et de validation). Donc, il est possible de développer son côté « latin » dans les statistiques, sans perdre sa courbe de lift !

Datalab offre la possibilité ensuite de « sélectionner » parmi les variables que l’on souhaite entrer ou exclure du modèle et de rechercher les variables qui permettent d’optimiser le modèle (ou qui sont attendus par le demandeur !).  Lorsque l’on est satisfait de sa grille de score on peut l’exporter dans du code pseudo SQL ou un code SAS, ce qui facilite ensuite son intégration dans les environnements informatiques plus standards.

Au final, on peut juger de la performance du modèle avec les courbes de lift, les matrices de confusion et un moteur de simulation qui permet de déterminer le seuil de rentabilité (cas d’un envoi de courrier) avec des hypothèses de coûts fixes, de couts variables, de panier moyen, etc … pour déterminer la quantité « optimale » à cibler …. qui maximise les retours.

Bref, une vraie petite « machine » à faire des scores intelligents, et tirer profit des vastes entrepôts de données … et s’aventurer dans les parties les plus « sombres » des Data Warehouses.

J’allais oublier que Datalab propose un arbre de décision pour décrire les cibles, et qu’une cible peut être rapidement décrite avec les éléments de profiling du produit.

Pour éviter de sombrer dans le 100 % satisfaction ….   qui pourrait être suspect, je dirais que Datalab pourrait s’améliorer les éléments suivants :

-          Possibilité de créer des « nouvelles données » par combinaison des variables existantes (ce que l’on définit comme un « virtual field »),

-          Augmenter les possibilités de filtrage et de redressement des populations pour augmenter les contraintes sur la population,

-          Optimiser son algorithme de discrétisation par une meilleure gestion des données manquantes (et éviter la dernière classe par défaut) ou définir une discrétisation optimale,

-          Augmenter les capacités de son Analyse factorielle en termes d’axes et de choix de méthode de clusterisation,

-          Mieux filtrer les règles de combinaisons les plus pertinentes et intégrer un arbre de décision dans ses bases de règles,

-          Produire un tableau des « odds ratios » pour mieux apprécier l’impact des variables dans le score (et fiabiliser le modèle),

-          A quand une réintroduction des algorithmes bayésiens de M. Canarelli pour compléter les options de scoring et gestion des données manquantes …

Mais je sais …. qu’ils y travaillent …. donc j’attends la V9 avec impatience.

Pour en savoir plus … le lien suivant http://www.complex-systems.fr/datalab_demo.shtml … que je vous recommande.

Bonne pratique.

Présentation de Cartes et Données logiciel de cartographie

Les applications cartographiques font parties intégrantes des outils de prise de décision au sein des entreprises.

En complément des tableaux de données, elles permettent une représentation simple et intuitive de la performance dans la dimension géographique. Ce mode de représentation est souvent plus accessible pour comprendre les impacts de la démographie, du contexte économique ou des données d’infrastructures (routes, métro, etc.) sur la performance.

Cependant la réalisation régulière de cartes passe par l’exploitation d’un logiciel de cartographie, un marché en expansion représenté par les leaders « Map info » et « Geo concept ».  Récemment nous avons découvert le logiciel «  Articque » qui combine un excellent positionnement prix et une richesse des fonctionnalités (modules opérateurs, modules de représentation…).

Nous vous proposons de décrire cet outil par ailleurs accessible sur www.articque.com

1) Présentation de l’outil et de l’interface :

L’environnement de travail, personnalisable et facilement appropriable se compose de 4 parties :

-L’organigramme qui définit le processus de création de carte (le fond de carte, les indicateurs, la méthode de représentation…)
-Les opérateurs et des outils de représentation qui permettent de réaliser des traitements statistiques sur les données avant leur représentation (calcul de taux, analyse multi-dimensionnelle …) et définir la méthode de représentation (pictogramme rouge, fusion de zone géographique, contours des zones…)
-Les tableaux de données qui listent les indicateurs pour chaque zone géographique et affichent les résultats de calcul (ajout d’une colonne « taux », valeur de l’indicateur pour la zone issue de la fusion de zones géographiques…)
-La fenêtre donnant la/ les représentations cartographiques.

2) Philosophie de l’outil

La construction d’une carte via Cartes & Données passe par 5 étapes. Celles-ci sont définies dans l’organigramme, schéma composé d’icônes, appelées modules, reliées entre elles par des liens. Chaque module représente un élément qui rentre dans la composition de la carte finale :
-le fond de carte,
-les données à représenter,
-les éventuels traitements statistiques à mettre en place,
-les pictogrammes,
-les  couleurs,
-les noms inscrits sur la carte
-etc.

Le principe de l’organigramme est extrêmement souple et la richesse des modules permet de réaliser des cartes qui correspondent parfaitement aux besoins. Il suffit d’associer les différents modules de façon à obtenir le résultat souhaité.

3) Richesse de l’outil :

1.Richesse des traitements statistiques applicables sur les données
Calcul de données (taux, Part, ..)
Discrétisation de variables (regroupement de données continues en classes) /
Filtre sur certaines données /
Régression / ACP…Personnalisation de zones géographique via l’opérateur fusion (création de nouveaux fonds de cartes en associant et en regroupant des entités géographiques)

2.Richesse des outils de représentation : contours, remplissage, pictogrammes, histogrammes, texte, portions, secteurs…

3.Possibilité de générer automatiquement un ensemble de cartes à partir de l’organigramme en cours d’utilisation. Cartes & Données permet de générer dans un répertoire préalablement choisi toutes les cartes (ou une partie) issues de l’organigramme. (terminé les exports manuels !)

4.Existence d’une aide permanente lors de la création des cartes : pour chaque module est rappelé les données acceptées en entrée et les données qui vont en sortir afin de guider l’utilisateur et assurer des résultats cohérents en sortie de carte. De plus, il existe une aide en ligne complète et claire, associée à des exemples, qui permet de s’approprier l’outil rapidement et de façon autonome.

5.Possibilité de créer des librairies personnelles, qui permet d’optimiser le temps de créations de nouvelles cartes (fond de carte, trame de couleur, picto, symboles avec le logo de l’entreprise..)

6.Présence d’un éditeur graphique qui permet de personnaliser les cartes avant une sauvegarde ou une impression.

7.Possibilité de sauvegarder, d’exporter, de copier, d’imprimer les différents éléments (cartes, tableau de données, organigramme) et ce sous différents formats pour les cartes ( .pdf, .html, .png, .jpeg, .eps, .emf, .swf., .ai, .gif)

4) Quelques exemples de cartes réalisées avec Cartes&Données (source Articque)

5) Conclusion

J’espère que vous serez autant réjouie que moi par la découverte de Cartes & Données. N’hésitez pas à faire un tour sur le site de l’éditeur http://www.articque.com

Bonne découverte !

Evaluation du produit SPSS Viz Designer 1.0
Un nouvel outil de visualisation des données .

Il y avait quelques années, j’avais eu l’occasion d’évaluer le produit Diamond de SPSS. Le produit présentait des moyens de combiner jusqu’à 7 variables sur un même graphique, mais il fallait convenir que l’on devait passer plus de temps à trouver le graphique le mieux adapté.

SPSS propose un nouvel outil avec Viz Designer. La prise en main de l’outil est intuitive avec une connexion sur un fichier ou une base de données. Viz Designer importe facilement les données et effectue un typage automatique.

L’aspect le plus intéressant du produit est qu’il guide l’utilisateur sur les graphiques les plus appropriés en fonction de la variable choisie. Par exemple, si je sélectionne dans l’écran de gauche, la variable « Dépense » (variable continue)

il me propose 3 types de représentation (2 histogrammes et un dot plot)

Ensuite en sélectionnant une seconde variable discrète « Segment », Viz Designer propose les différents modes de représentations possibles :

Nous choisissons le 3-D Density pour obtenir la représentation suivante et modifier l’ordre des segments pour améliorer la perspective :

Il est possible de croiser par exemple 3 variables pour construire ce type de graphique :

L’outil offre ensuite des options traditionnelles pour colorier, modifier les échelles et les titres. Il existe des possibilités d’animer un graphique en 3 D de manière à « tourner » autour des données. Bref un outil de visualisation complet et très simple d’utilisation qui permet de surprendre son auditoire avec des formes  parfois élaborées … et un peu inhabituelles ! Avant de finir la lecture vous avez 3 minutes pour trouver le sens de ce graphique !

… vous pouvez suivre les différences dans la distribution d’une note de scores (le radar) risque en fonction de l’ancienneté (les panneaux), le statut matrimonial (les points)… et en plus un curseur me permet de choisir le segment ….

Évidemment ça surprend. Un outil facile et simple .. qui donne des idées de représentation des données ….

Au niveau des éléments négatifs :
- une importation pas très intuitive des données (pas de reconnaissance des types de variables)
- un manque d’une touche « undo » lorsque l’on tente des modifications de positionnement dans le graphique. Sur ce point, il aurait été plus convivial de permettre des permutations entre les 3 variables pour identifier le « meilleur angle » de compréhension.

Pour enrichir la prise de connaissance de ce type d’outil et découvrir le site SPSS, quelques liens qui m’ont été fournis :

Le mini site Viz Designer:
http://www.spss.com/vizdesigner/

La brochure produit :
http://www.spss.com/media/collateral/SVDSPC-0808lr.pdf

Enfin, nous recommandons de parcourir le site de SPSS : www.spss.com

Une démonstration des capacités de l’outil Eaagle Full Text Mapper de la société Trivium.

Un article qui présente :
- les objectifs d’un outil de Text Mining (ici dans le Web)
- un déroulé d’une analyse à partir des données non structurées avec une capture des écrans qui permet de comprendre les possibilités d’analyses
- une analyse comparative des discours de Ségolène Royal et Nicolas Sarkozy pour illustrer les apports

Un extrait de l’introduction pour présenter le positionnement du produit : Eaagle est né d’un constat : l’ère de la communication a libéré l’expression libre via le Web et le succès des forums et des blogs, via les intranets des entreprises, et via des enquêtes d’opinion et de satisfaction permanentes. Chacun est invité à donner son avis sur tout, mais qui a aujourd’hui le temps et les moyens d’analyser ce flux continu d’information ?

D’un simple clic le logiciel Full Text Mapper analyse et cartographie des données sous différents formats : Word, Excel, PDF, PowerPoint, HTML. Ces données sont triées et les thèmes identifiés afin d’être cartographié et affiché avec une représentation visuelle. L’utilisateur peut éditer un rapport sans perte de temps et sans formation préalable.

Le but de cette technologie est d’identifier les occurrences de mots, de les lier entre eux et d’en donner une représentation graphique pertinente.

Pour ceux qui souhaitent découvrir l’article en détail :
http://www.tech.youvox.fr/Eaagle-apporte-le-text-mining,0801

Je suis un praticien de SPAD tant dans mes activités d’enseignement que professionnelle, car le produit a une richesse dans le domaine des analyses factorielles et typologies, et les filières de traitement garantissaient une utilisation conforme des techniques statistiques, même par des novices. Mais j’étais resté sur ma faim sur les aspects de data management (chargement et travail des données) et sur les aspects de scoring et arbre de décision, ce qui imposait souvent le recours à un second outil pour le compléter.

La nouvelle version 7 présente des avancées importantes sur plusieurs points, et a su conserver, voire améliorer sa facilité d’utilisation.

La première surprise est la « console » de traitement qui reprend les concepts mis en avant par Clémentine

La console se décompose en 3 grandes parties
- en bas à gauche : les différentes méthodes
- en haut à droite : les différents enchaînements
- en bas à droite : le suivi des traitements ou la lecture de la base de données

La seconde surprise est la facilité de transformer et modifier la base de données initiales pour binariser les variables, découper en classes, modifier les enregistrements, compléter avec de nouvelles variables sans passer par des opérateurs complexes et en suivant de manière immédiate le résultat (et la pertinence) des transformations. On peut suivre pas à pas dans un mode proche de l’outil Amadéa les transformations effectuées.

La troisième surprise (en fait une demi surprise) est l’amélioration dans la richesse des techniques proposées :
- une palette très riche dans les techniques d’analyses multi-variées avec des Analyses Factorielles, des Régressions PLS, analyse conjointe, etc..
- une amélioration ergonomique des techniques de data mining avec un arbre de décision enfin graphique, des analyses d’association, du text mining
- la richesse de la documentation (une des points forts depuis plus de 20 ans du produit)

Les faiblesses identifiées sont relatives :

- aux fonctions de scoring avec l’absence « curieuse » des régressions logistiques classiques, même si SPAD V7 propose des fonctions de scores, toutefois assez éloignées des pratiques usuelles (mais M. Lenouvel m’a dit que la RetD était en train de corriger ce point).
- les réseaux de neurones qui s’avèrent à l’usage assez peu performants .. sur un fichier pourtant facile, donc plus pour le « fun » que pour la performance,
- la faiblesse de la documentation sur l’approche PLS avec un renvoi sur un site dans la documentation, et une documentation pas totalement homogène avec la nouvelle version.

En synthèse, le constat est très positif et donne vraiment envie de manipuler et explorer des données. Les fans de technos avancées (réseaux de neurones, algorithmes génétiques, réseaux bayésiens) ne trouveront pas leur bonheur, mais les data miners plus classiques tireront profit des arbres de décision, typologies, analyses d’association … qui constituent 80 % à 90 % des besoins actuels.

Les anciennes versions de SPAD étaient riches mais le data miner avait besoin d’un second outil pour manipuler les données, choix difficile à accepter au niveau budgétaire. Désormais, SPAD V7 peut « vivre » seul, tout au moins si les traitements de traitements de données ne sont pas trop complexes, ni trop volumineux et très industrialiser. Donc un excellent choix pour les data miners n’ayant pas de trop gros volumes en traiter, ni des besoins forts d’intégration avec une informatique de gestion.

On ne devient pas SAS en un jour !

Pour les étudiants qui souhaitent compléter un enseignement théorique du data mining avec une pratique avec des outils, nous avons identifié trois outils de datamining :

- Orange

- Weka

- Tanagra

Les documents PDF permettent de prendre connaissance de l’outil et de réaliser des travaux sur des fichiers d’exemple.

Il existe des didacticiels comparatifs de ces trois outils sur différentes techniques de datamining :

- Construire une courbe ROC avec ORANGE, TANAGRA et WEKA

- Construire un arbre de décision avec ORANGE, TANAGRA et WEKA

- Comparaison de performances de méthodes supervisées sur un échantillon test prédéfini (ORANGE, TANAGRA et WEKA)

- Construire des règles d’association (ORANGE, TANAGRA et WEKA)

Nous recommandons le lien vers le site suivant qui nous a permis d’appréhender rapidement les 3 outils.

Source des documents :

http://eric.univ-lyon2.fr/~ricco/tanagra/fr/contenu_tutoriaux_comparaison_logiciels.html