explicabilite-machine-learning

Interprétez simplement vos modèles de Machine Learning

Interprétez simplement vos modèles de Machine Learning

17 juin 2021

– 8 min de lecture

Valentin Defour

Consultant Senior Transformation Data

A l’heure de l’omniprésence algorithmique dans une multitude de domaines de notre société, une commission européenne dédiée publiait, il y a un an déjà, un livre blanc mettant en lumière le concept d’IA de confiance. Si ce concept englobe une multitude de notions et d’axes de réflexion (prise en compte des biais, robustesse des algorithmes, respect de la privacy, …), nous nous intéresserons ici particulièrement à la transparence et l’explicabilité des systèmes d’IA. Dans cette optique et après un rappel des enjeux et challenges de l’explication des modèles, nous construirons un simple tableau de bord rassemblant les principales métriques d’explicabilité d’un modèle, à l’aide d’une librairie Python spécialisée : Explainer-Dashboard.

Vous avez dit “explicabilité” ?

L’IA Explicable est l’intelligence artificielle dans laquelle les résultats de la solution peuvent être compris par les humains. Cela contraste avec le concept de «boîte noire» où parfois même les concepteurs du modèle ne peuvent pas expliquer pourquoi il est arrivé à une prédiction spécifique.

Le besoin d’explicabilité de ces algorithmes peut être motivé par différents facteurs :

Quand on adresse cette problématique, il convient de définir les différents termes (étroitement liés) que l’on peut retrouver :

Si l’on considère des travaux de chimie au lycée, une interprétabilité de cette expérience serait “on constate un précipité rouge”. De son côté, l’explicabilité de l’expérience nécessitera de plonger dans les formules des différents composants chimiques.

Note : dans un souci de simplification, nous utiliserons largement le terme “explicabilité” dans la suite de cet article.

Via l’explication d’un modèle, nous allons chercher à répondre à des questions telles que :

Quelles sont les causes d’une décision ou prédiction donnée ?

Quelle est l’incertitude inhérente au modèle ?

Quelles informations supplémentaires sont disponibles pour la prise de décision finale ?

Les objectifs de ces explications sont multiples, car dépendants des parties prenantes :

Et concrètement ?

Le caractère “explicable” d’une IA donnée va principalement dépendre de la méthode d’apprentissage associée. Les méthodes d’apprentissage sont structurées en deux groupes conduisant, selon leur type, à un modèle explicite ou à une boîte noire :

Dans le cas d’un modèle explicite (linéaire, gaussien, binomial, arbres de décision,…), la décision qui en découle est nativement explicable. Sa complexité (principalement son nombre de paramètres) peut toutefois endommager son explicabilité ;

La plupart des autres méthodes et algorithmes d’apprentissage (réseaux neuronaux, agrégation de modèles, KNN, SVM,…) sont considérés comme des boîtes noires avec néanmoins la possibilité de construire des indicateurs d’importance des variables.

Lors du choix d’un modèle de Machine Learning, on parle alors du compromis Performance / Explicabilité.

Récupérer les données et entraîner un modèle simple

Pour cette démonstration, notre cas d’usage analytique sera de prédire, pour un individu donné, le risque d’occurrence d’une défaillance cardiaque en fonction de données de santé, genre, âge, vie professionnelle, …

Si cette problématique ne revêt pas spécifiquement d’aspect éthique relatif à la transparence de l’algorithme utilisé, nous pouvons toutefois bien percevoir l’utilité de l’explicabilité d’un diagnostic de risque assisté par IA : collaboration facilitée avec l’expert métier (en l’occurrence, le médecin) et information plus concrète du patient, entre autres bénéfices.

Le jeu de données éducatif utilisé est fourni par l’OMS et peut être téléchargé sur la plateforme de data science Kaggle :

Il contient les données de 5110 personnes, réparties comme suit :

Données :

  • Age du sujet ;
  • Genre du sujet ;
  • A déjà souffert d’hypertension (oui / non)
  • A déjà souffert de maladies cardiaques (oui / non)
  • Statut marital
  • Type d’emploi
  • Type de résidence (citadin, rural)
  • Niveau moyen sanguin de glucose
  • IMC
  • Fumeur (oui / non)

Note : nous avons procédé à une simple préparation des données qu’il est possible de retrouver dans le notebook complet en bas de page.

Pour la partie modélisation, nous utiliserons un modèle « baseline » de Random Forest. Pour éviter que notre modèle ne reflète seulement que la distribution des classes (très déséquilibrée dans notre cas, 95-5), nous avons ajouté des données “synthétiques” à la classe la moins représentée (i.e. les patients victimes de crises cardiaques) en utilisant l’algorithme SMOTE, pour atteindre une répartition équilibrée (50-50) :

Notre modèle est prêt, nous pouvons à présent l’utiliser en input du dashboard !

Création du dashboard

Nous avons donc à disposition un modèle entraîné sur notre dataset et allons à présent construire notre tableau de bord d’interprétation de ce modèle.

Pour ce faire, nous utilisons la librairie explainer-dashboard, qui s’installe directement via le package installer pip :


pip install --upgrade explainerdashboard

Une fois la librairie installée, nous pouvons l’importer et créer simplement une instance “Explainer” à l’aide des lignes suivantes :


from explainerdashboard import ClassifierExplainer, ExplainerDashboard

explainer = ClassifierExplainer(RF, X_test, y_test)

db = ExplainerDashboard(explainer,
                       n_jobs = -1,
                        title="Heart Stroke Prediction Explainer"
                       )

db.run(port=8050)

Plusieurs modes d’exécution sont possibles (directement dans le notebook, dans un onglet séparé hébergé sur une IP locale, …) (plus d’informations sur les différents paramètres de la librairie dans sa documentation).

Note : le dashboard nécessitera d’avoir installé la librairie de visualisation “Dash” pour fonctionner.

Interprétation des différents indicateurs

Le tableau de bord se présente sous la forme de différents onglets, qu’il est possible d’afficher / masquer via son paramétrage :

Plongeons à présent dans les détails de chacun de ces onglets !

Features Importance

A l’instar de l’attribut feature_importances_ de notre modèle de Random Forest, cet onglet nous permet de visualiser, pour chaque colonne de notre dataset, le pouvoir de prédiction de chaque variable.

L’importance des features a ici été calculée selon la méthode des valeurs de SHAP (acronyme de SHapley Additive exPlanations). Nous n’approfondirons pas ce concept dans cet article (voir rubrique “aller plus loin”).

Ces scores d’importance peuvent permettre de :

Dans l’exemple ci-dessous, on peut constater que :

Classification Stats

Cet onglet nous permet de visualiser les différentes métriques de performance de notre modèle de classification : matrice de confusion, listing des différents scores, courbes AUC, … Il sera utile en phase de paramétrage / optimisation du modèle pour avoir un aperçu rapide et complet de sa performance :

Individual Predictions

Cet onglet va nous permettre, pour un individu donné, de visualiser les 2 indicateurs principaux relatifs à la décision prise par le modèle :

Le graphe des contributions : 

La contribution d’un feature à une prédiction représente l’impact probabilistique sur la décision finale de la valeur de la donnée considérée.

Suite à notre traitement du déséquilibre des classes, nous avons autant de sujets “sains” que de sujets “à risque” dans notre jeu de données d’apprentissage. Un estimateur aléatoire aura donc 50% de chances de trouver la bonne prédiction. Cette probabilité est donc la valeur “baseline” d’entrée dans notre graphe des contributions.

Ensuite, viennent s’ajouter en vert sur le visuel les contributions des features pour lesquelles la valeur a fait pencher la décision vers un sujet “à risque”. Ces features et leur contribution amènent la décision à une probabilité de ~60% de risque.

Puis, les features dont la contribution fait pencher la décision vers un sujet “sain” viennent s’ajouter (en rouge sur le graphe). On retrouve ici nos prédicteurs forts tels que l’âge ou encore l’IMC.

On a donc :

décision finale = 50% + probabilité(sain) + probabilité(à risque) = 5.08%

> Le sujet est proposé comme sain par l’algorithme

Le graphe des dépendances partielles :

Ce visuel nous permet de visualiser la probabilité de risque en fonction de la variation d’une des features, en conservant la valeur des autres constantes. Dans l’exemple ci-dessus, on peut voir que pour l’individu considéré, augmenter son âge aura pour effet d’augmenter sa probabilité d’être détecté comme “à risque”, ce qui correspond bien au sens commun.

What if Analysis

Dans l’optique de l’onglet précédent, l’analyse “what if” nous permet de renseigner nous mêmes les valeurs des différents features et de calculer l’output du modèle pour le profil de patient renseigné :

Il reprend par ailleurs les différents indicateurs présentés dans l’onglet précédent : graphe des contributions, dépendances partielles, …

Features Dependance

Cet onglet présente un graphe intéressant : la dépendance des features.

Il nous renseigne sur la relation entre les valeurs de features et les valeurs de SHAP. Il permet ainsi d’étudier la relation générale entre la valeur des features et l’impact sur la prédiction.

Dans notre exemple ci-dessus, le nuage de points nous apprend deux choses :

Decision Trees

Enfin, dans le cas où l’input du dashboard est un modèle à base d’arbres de décisions (gradient boosted trees, random forest, …), cet onglet sera utile pour visualiser le cheminement des décisions de la totalité des arbres du modèle.

Dans l’exemple ci-dessous, nous considérons le 2712ème individu du jeu de données pour lequel 50 arbres ont été calculés via l’algorithme de Random Forest. Nous visualisons la matrice de décision de l’arbre n°13 :

Ce tableau nous montre le cheminement de la décision, depuis une probabilité de ~50% (qui serait la prédiction d’un estimateur ne se basant que sur la moyenne observée sur le jeu de données). On peut constater que, pour cet individu et pour l’arbre de décision considéré :

L’onglet nous propose également une fonctionnalité de visualisation des arbres via la librairie graphviz.

L’étude des différents indicateurs présentés dans les onglets du dashboard nous a permis :

L’étude de ces indicateurs doit être partie intégrante de tout projet d’IA actuel et futur

L’explicabilité des modèles de Machine Learning, aujourd’hui considéré comme l’un des piliers d’une IA éthique, responsable et de confiance, représente un challenge important pour accroître la confiance de la société envers les algorithmes et la transparence de leurs décisions, mais également la conformité réglementaire des traitements en résultant.

Dans notre cas d’étude, si la librairie explainer-dashboard est à l’initiative d’un particulier, on remarque une propension à l’éclosion de plusieurs frameworks et outils servant le mouvement “Fair AI”, dont plusieurs développés par des mastodontes du domaine. On peut citer le projet AIF360 lancé par IBM, une boîte à outils d’identification et de traitement des biais dans les jeux de données et algorithmes.

Cette librairie est utile en phase de développement et d’échanges avec le métier mais peut toutefois ne pas suffire en industrialisation. Alors un dashboard “maison” sera nécessaire. Elle a toutefois un potentiel élevé de personnalisation qui lui permettra de répondre à de nombreux usages.

Note : l’intégralité du notebook utilisé est disponible sur ce lien.



Pour aller plus loin :

Paiements-de-compte-a-compte-en-proximite-Prerequis-et-interet

Paiement de compte à compte en proximité – Prérequis et intérêt

Paiement de compte à compte en proximité - Prérequis et intérêt

2 juin 2021

– 2 min de lecture

Ikbel Snoussi

Senior Manager Retail Payments

J’ai eu le plaisir d’introduire la table ronde « Le futur du paiement de proximité », organisée par le groupe de travail Perspectives & Innovations du France Payment Forum. J’ai présenté une synthèse des différents éléments qui pourraient favoriser la construction de nouveaux parcours utilisateurs en proximité, à commencer par l’émergence et le développement des schemes de Real Time Payment 

En effet, depuis le Zengin japonais lancé en 1973, les schemes de paiement en temps réel n’ont cessé de se développer et se généraliser avec une certaine accélération sur les dernières années. Les derniers en date étant le SCT Inst en Europe en 2017, la Malaisie et la Roumanie en 2019 et le Vietnam en 2020.

Un environnement favorable

Parmi ces initiatives, les transferts de compte à compte en proximité constituent une partie significative des cas d’usage. Une analyse comparative fait apparaître des similitudes en termes d’écosystème. En effet, au-delà de l’existence d’un scheme de real time payment, nous remarquons la présence de catalyseurs tels que :

Pour quels bénéfices ?

Toutefois, bien que ces catalyseurs favorisent indéniablement l’émergence de nouveaux usages, le véritable challenge reste celui de l’adhésion à la fois des consommateurs et des marchands. Pour cela, la nouvelle proposition de valeur devra résoudre un véritable pain point ou bien améliorer substantiellement un usage existant. Parmi les bénéfices attendus de la part des consommateurs, nous pouvons citer :

Du côté des commerçants il sera important de :

Comment s’y prendre ?

Face à cet objectif de fluidification de l’expérience utilisateur, plusieurs approches sont envisageables. A titre d’exemple, le tableau récapitulatif présenté ci-dessous fait le parallèle entre le modèle du consortium Bizum, fruit de la coopération de 31 banques espagnoles, et celui de la FinTech (AISP/PISP) Vibe Pay.

Bien que sensiblement différents en termes de scheme sous-jacent, de stratégie de couverture et de moyen, il est à noter que les deux modèles adressent les mêmes cas d’usage, à savoir le P2P, l’e-commerce et le paiement en proximité. De ce fait, le dernier challenge à relever, et non des moindres, sera de construire une expérience d’achat unifiée sans coutures

Pour atteindre cet objectif, il est essentiel d’intégrer le paiement bien en amont lors de la conception de l’expérience utilisateur afin qu’il se fonde dans le parcours d’achat et non pas être un nième moyen de paiement qui arriverait en bout de chaîne.

Les autres articles qui peuvent vous intéresser

7-question-comparer-couts-solutions-paiement

Solutions de Paiement – 7 questions pour comparer les coûts

Solutions de Paiement - 7 questions pour comparer les coûts

18 mai 2021

– 3 min de lecture

Outre l’offre bancaire classique, la France compte plus de 600 FinTechs, dont pas moins de 150 PayTechs. Bonne nouvelle au niveau de l’offre, mais comment s’y retrouver au moment du choix de solution de paiement, que l’on soit commerçant, marketplace, fournisseur de service en ligne, association…

Les critères à prendre en compte sont multiples dans le choix de son PSP. Concentrons-nous ici sur le critère économique, autour de 7 questions visant à :

1. Quel est le positionnement du PSP ?

Derrière le check-out ou plus généralement l’ordre client, nombreux sont les intervenants dans la chaîne de paiement. Les stratégies fournisseurs varient largement :

Le couplage Acceptation / Acquisition illustre cette problématique de périmètre, avec ses conséquences directes sur l’analyse des coûts : 

2. Quelle est votre maîtrise de vos volumes d’opérations de paiement ? 

« La prévision est difficile surtout lorsqu’elle concerne l’avenir… ». Au moment du choix d’une solution de paiement, il peut être difficile d’évaluer les volumes d’opérations, leur répartition par moyen de paiement

S’ils sont bien maîtrisés, les propositions plus détaillées (jusqu’à 25 paramètres recensés dans notre grille d’analyse) pourront permettre d’optimiser les coûts, au prix d’un engagement dans la durée, de minima de volumes, de conditions de modification et de sortie….

Dans l’autre cas, les propositions plus flexibles et plus intégrées seront plus adaptées à un modèle économique à prouver.

3. Quelle palette de moyens de paiement ?

couts des moyens de paiement

Les nouveaux PSP se sont d’abord développés sur le modèle de la carte, en tant que moyen de paiement privilégié des clients, en ligne et en magasin.

Les autres moyens de paiement (Virement, Prélèvement…) ont depuis commencé à percer, notamment pour des raisons de coût à la transaction.

Le Virement Instantané va contribuer à élargir cette palette, en concurrence directe avec la carte, à la fois au niveau des coûts, mais aussi pour des paiements supérieurs aux plafonds cartes.

Au niveau de la comparaison des coûts, les PSP proposant ces différents moyens de paiement bénéficieront de coûts moyens inférieurs aux pure-players de la carte.

4. Faut-il prévoir des coûts complémentaires pour les retries, rejets, chargebacks, reporting… ?

Au-delà du traitement nominal des opérations, il est important d’intégrer aussi les cas d’exception (trop nombreux d’ailleurs, pour être qualifiés d’exceptions…). 

Là encore, les PSP se distinguent entre :

5. Quel impact sur la fraude et les charges internes ?

La fraude intervient dans la comparaison économique des PSP à 2 niveaux :

Outre la fraude, d’autres postes de charge interne sont touchés par le choix du PSP :

6. Encaissement direct ou reversement ?

Au-delà des coûts de transaction, les offres des PSP peuvent aussi impacter la trésorerie. Deux modèles coexistent :

7. Quels coûts de mise en œuvre de la solution de paiement ?

cout mise en oeuvre solution de paiement

Au-delà des coûts de fonctionnement traités plus haut, les coûts de mise en œuvre peuvent aussi varier :

En conclusion, la multiplication des PSP a apporté une plus grande richesse des services de paiement. Elle a aussi rendu plus complexe la comparaison des offres, au moment du choix du Prestataire de Services de Paiement.

Rien que sur le critère des coûts, la comparaison nécessite de prendre en compte le modèle économique du PSP, sa position dans la chaîne de bout en bout, la palette de moyens de paiement supportés, la fraude, les optimisations possibles sur les charges internes et les opportunités des solutions de digitalisation dans l’entreprise…

En rappelant toutefois que l’équation économique repose avant tout sur le taux de transformation client et que la fluidité du parcours de paiement proposé par le PSP précède la question du coût !

Alors, rendez-vous sur nos prochains articles sur le choix des solutions de paiement pour éclairer l’ensemble de ces critères.

Les autres articles qui peuvent vous intéresser

vision-cible-si-contexte-mondial

Vision cible du SI dans un contexte mondial

Vision cible du SI dans un contexte mondial

7 novembre 2020

– 1 min de lecture

Olivier Constant

Senior Manager Architecture

Vision cible du si dans un contexte mondial avec filiales, erp, industrie 4.0 et référentiels

Contexte

Un grand groupe industriel mondial possédant des dizaines de filiales est en pleine évolution de son SI sur plusieurs aspects : digital, référentiels, industrie 4.0, ERP, etc. Le groupe a besoin d’avoir de la visibilité sur son futur, la cible de son SI et les moyens d’y parvenir. 

Solutions

Bénéfices

Les aurtes success stories qui peuvent vous intéresser

référentiel vision 360 client

Accompagnement référentiel & vision 360 client

Accompagnement référentiel & vision 360 client

7 novembre 2020

– 2 min de lecture

Damien Blandin

Directeur Architecture, Data & Transformation

Contexte

Au sein de la Direction Innovation Digital Data (iD²) et de la Direction de l’Architecture, accompagnement, lors des phases d’opportunité, de cadrage et de mise en place, du programme connaissance Client (Référentiel & V360) :

Missions

Bénéfices

Une approche pragmatique, basée sur une expertise fonctionnelle, méthodologique et technologique du SI Data Centric, éprouvée sur des contextes clients similaires et alignée sur les exigences de résultat rapide du DSI et des directions métier de Malakoff Médéric.

Les autres success stories qui peuvent vous intéresser

mesure valeur données

La méthode de mesure de la valeur des données appliquée à un leader européen de l’assurance

La méthode de mesure de la valeur des données appliquée à un leader européen de l'assurance

7 novembre 2020

– 3 min de lecture

Albert Bendayan

Directeur Architecture, Data & Transformation

A l’heure où la Data transforme le métier de l’assurance, ce leader de l’assurance et des services financiers, s’appuie sur la méthodologie de Rhapsodies Conseil, cabinet indépendant de conseil en management. Cette méthodologie est utilisée au sein des filiales de l’assureur dans une optique de valorisation des données visant le cadrage des investissements. Elle permet d’identifier les domaines de Data les plus opportuns pour générer des bénéfices mais aussi mettre en perspective les lacunes.

La stratégie de valorisation de la donnée

Parce que la transformation digitale est une lame de fond, ce leader européen de l’assurance y investit toutes les ressources nécessaires et accorde une place hautement stratégique aux sujets Data. Valoriser la donnée s’impose ainsi comme un enjeu clé pour analyser et prioriser ce qui va générer du bénéfice. C’est à ce titre qu’est utilisée « Augmentez la valeur de vos données ! », la méthodologie de Rhapsodies Conseil qui vise à orienter la stratégie Data et à définir les investissements nécessaires à la conduite des travaux de qualité de données. L’objectif : faire de la valeur de la Data le fil directeur stratégique pour répondre aux usages métier et apporter une forte valeur ajoutée à l’entreprise. Cette valeur ajoutée peut notamment permettre de d’accélérer la croissance commerciale, d’améliorer les profits, de faire des économies ou encore d’améliorer la productivité des équipes.

De cette méthodologie, notre groupe tire à ce jour de nombreux bénéfices notamment en matière d’efficacité, à commencer par l’amélioration des processus ou encore la gestion des sinistres. Tout particulièrement sur nos marchés émergents, nous constatons que la maîtrise de la donnée améliore considérablement la relation client et in fine la fidélisation des clients. Cela permet d’ailleurs de faire le lien entre la donnée et la valorisation financière. En somme, c’est sur l’ensemble de ses sujets ‘core business’ que ce travail sur la donnée prend tout son sens.

Chief Data Officer d’une des filiales de cet assureur

Voir notre méthode appliquée au sein d’un groupe tel que ce leader européen de l’assurance est une réelle fierté et la preuve tangible que notre vision de la valorisation Data trouve écho et résonne chez nos clients. C’est également révélateur d’une transformation digitale en ordre de marche où la Data est intrinsèquement devenue un acteur central de notre quotidien et de celui des entreprises et organisations.

Albert Bendayan

Application de la méthodologie data de rhapsodies conseil au sein du groupe européen d’assurance

Le groupe est organisé en différents marchés : la France, l’Europe, l’Asie et l’International New Market et chacun dispose de sa propre gouvernance. La méthodologie Data de Rhapsodies Conseil est adaptée aux besoins de chaque pays et au degré de maturité des différents marchés, qu’ils soient émergents ou matures, et qu’elles que soient les problématiques, les budgets, les contextes et les challenges. Rhapsodies Conseil intervient aux côtés du groupe sur plusieurs thématiques Data afin de définir des approches, des principes et des bonnes pratiques, agissant comme accélérateurs pour aider les différentes filiales du groupe. Les dirigeants locaux sont donc les premiers utilisateurs de la méthodologie qui est aujourd’hui particulièrement employée au Mexique, en Colombie et dans plusieurs pays du Golfe Persique.

Dans les entités émergentes les dirigeants locaux font face à des défis de taille : générer de la profitabilité dans des marchés complexes, où ils n’ont pas tout le temps, la latitude budgétaire et les capacités technologiques pour pouvoir être réactifs. Ils doivent donc effectuer des investissements mesurés sur le digital, la Data, l’IT,… et assurer un ROI rapide et important ?

Chief Data Officer


Ce leader européen de l’assurance a orienté son approche Data sur la partie stratégique qu’est la valorisation financière : c’est pour eux le levier principal et les bénéfices sont d’ores et déjà palpables. Fort de ce succès, le groupe a pour objectif en 2020 de continuer à appliquer cette méthode et de la promouvoir auprès de l’ensemble des parties-prenantes, pour qu’elle soit partagée avec les autres entités du groupe.