{"id":8854,"date":"2025-11-19T14:17:33","date_gmt":"2025-11-19T13:17:33","guid":{"rendered":"https:\/\/myrmidons.net\/?p=8854"},"modified":"2025-11-19T14:22:07","modified_gmt":"2025-11-19T13:22:07","slug":"orchestration-des-workflows-data-avec-precision-et-observabilite","status":"publish","type":"post","link":"https:\/\/myrmidons.net\/fr\/orchestration-des-workflows-data-avec-precision-et-observabilite\/","title":{"rendered":"Orchestration des workflows data avec pr\u00e9cision et observabilit\u00e9"},"content":{"rendered":"\n<p class=\"has-text-align-left\">Dans le monde en constante \u00e9volution du traitement des donn\u00e9es, construire des pipelines robustes, observables et testables n&rsquo;est plus un luxe, c&rsquo;est une n\u00e9cessit\u00e9. Lors du Databricks Meetup Belgium (pr\u00e9sent\u00e9 par Flavien Hancart), Dagster a \u00e9t\u00e9 pr\u00e9sent\u00e9 comme un orchestrateur open-source. Il a d\u00e9montr\u00e9 comment Dagster s&rsquo;int\u00e8gre efficacement avec des outils tels que Azure Data Factory, Databricks et dbt.  <\/p>\n\n<ul class=\"wp-block-list\">\n<li>Qu&rsquo;est-ce que Dagster ? <\/li>\n<\/ul>\n\n<p>Dagster est une plateforme d\u2019orchestration de donn\u00e9es pens\u00e9e pour les architectures data modernes. Contrairement aux orchestrateurs classiques, Dagster propose une orchestration data-aware : il ne se contente pas d\u2019ex\u00e9cuter des t\u00e2ches, il comprend la structure et le contexte des donn\u00e9es manipul\u00e9es.<\/p>\n\n<p>Avec Dagster, les pipelines sont script\u00e9s en Python de mani\u00e8re modulaire et d\u00e9clarative. Les workflows, appel\u00e9s \u00ab\u00a0jobs\u00a0\u00bb, sont constitu\u00e9s de t\u00e2ches facilement testables, versionnables et observables. Cette approche encourage une s\u00e9paration claire des responsabilit\u00e9s, facilitant la maintenance et la scalabilit\u00e9 des pipelines.  <\/p>\n\n<ul class=\"wp-block-list\">\n<li>Pourquoi Dagster se d\u00e9marque ?<\/li>\n<\/ul>\n\n<p>Dagster offre une exp\u00e9rience d\u00e9veloppeur moderne et efficace, avec notamment : <br\/>Une interface web (Dagster UI) pour visualiser les workflows en temps r\u00e9el. <br\/>Des capacit\u00e9s de test int\u00e9gr\u00e9es, permettant de valider les transformations avant leur mise en production. <br\/>Une surveillance et des alertes, pour \u00eatre imm\u00e9diatement inform\u00e9 en cas de probl\u00e8me. <br\/>Des assets d\u00e9finis par le code (software-defined assets), assurant la tra\u00e7abilit\u00e9 des donn\u00e9es et la gestion des d\u00e9pendances.<\/p>\n\n<p>La d\u00e9monstration de Flavien Hancart a mis en lumi\u00e8re la fa\u00e7on dont Dagster apporte transparence et fiabilit\u00e9 \u00e0 l\u2019orchestration.<\/p>\n\n<ul class=\"wp-block-list\">\n<li>L&rsquo;int\u00e9gration avec Azure<\/li>\n<\/ul>\n\n<p>Dagster peut \u00eatre positionn\u00e9 comme couche centrale d\u2019orchestration, connectant des services comme Azure Data Factory (ADF) pour l\u2019ingestion, Databricks pour les transformations, et Power BI pour la visualisation.<\/p>\n\n<p>Azure Data Factory (ADF) peut \u00eatre d\u00e9clench\u00e9 ou surveill\u00e9 via des jobs Dagster, centralisant ainsi les logs et la gestion. (custom pipeline utilisant les Azure APIs) <br\/>Les notebooks et workflows Databricks peuvent \u00eatre orchestr\u00e9s directement dans les pipelines Dagster gr\u00e2ce \u00e0 des int\u00e9grations pr\u00eates \u00e0 l\u2019emploi. <br\/>Il est m\u00eame possible de d\u00e9clencher des rafra\u00eechissements Power BI \u00e0 la suite d\u2019\u00e9tapes de validation de donn\u00e9es.<\/p>\n\n<p>Cette interconnexion permet de construire des pipelines data de bout en bout, testables et enti\u00e8rement observables sur l\u2019ensemble de la stack Azure, tout en gardant la flexibilit\u00e9 n\u00e9cessaire aux \u00e9quipes data.<\/p>\n\n<ul class=\"wp-block-list\">\n<li>Tests et notifications simplifi\u00e9s<\/li>\n<\/ul>\n\n<p>Avec Dagster, les tests ne sont pas une option secondaire. Des tests unitaires et d\u2019int\u00e9gration peuvent \u00eatre d\u00e9finis pour chaque transformation et ex\u00e9cut\u00e9s automatiquement lors des d\u00e9ploiements. De plus, gr\u00e2ce \u00e0 la prise en charge native des notifications Slack, email ou webhooks personnalis\u00e9s, les \u00e9quipes restent inform\u00e9es \u00e0 chaque \u00e9tape, que ce soit en cas de succ\u00e8s ou d\u2019\u00e9chec d\u2019un pipeline.  <\/p>\n\n<ul class=\"wp-block-list\">\n<li>Conclusion<\/li>\n<\/ul>\n\n<p>Dagster est un orchestrateur moderne, pens\u00e9 pour les besoins des \u00e9quipes data d\u2019aujourd\u2019hui.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Dans le monde en constante \u00e9volution du traitement des donn\u00e9es, construire des pipelines robustes, observables et testables n&rsquo;est plus un luxe, c&rsquo;est une n\u00e9cessit\u00e9. Lors du Databricks Meetup Belgium (pr\u00e9sent\u00e9 par Flavien Hancart), Dagster a \u00e9t\u00e9 pr\u00e9sent\u00e9 comme un orchestrateur open-source. Il a d\u00e9montr\u00e9 comment Dagster s&rsquo;int\u00e8gre efficacement avec des outils tels que Azure Data [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":8861,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[96],"tags":[109],"class_list":["post-8854","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news-fr","tag-connaissances"],"_links":{"self":[{"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/posts\/8854","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/comments?post=8854"}],"version-history":[{"count":5,"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/posts\/8854\/revisions"}],"predecessor-version":[{"id":8871,"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/posts\/8854\/revisions\/8871"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/media\/8861"}],"wp:attachment":[{"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/media?parent=8854"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/categories?post=8854"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/myrmidons.net\/fr\/wp-json\/wp\/v2\/tags?post=8854"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}