Outils pratiques et implémentations de référence.
Je gère un ensemble de projets open source publics axés sur l'ingénierie des données, l'accès aux données financières, la modernisation d'Azure, les performances de SQL Server et l'observabilité de la production. Ces référentiels sont construits comme des outils pratiques et des implémentations de référence, avec des tests, de la documentation, des CI et des limites juridiques/d'utilisation claires.
Outil API Valet de la Banque du Canada
Une CLI Python open source non officielle pour l'API publique Valet de la Banque du Canada. Il permet aux utilisateurs de récupérer, mettre en cache, valider, rechercher et exporter des données financières publiques depuis le terminal. Prend en charge CSV, JSON, Parquet, la mise en cache locale, les nouvelles tentatives/interruptions, la recherche de métadonnées, les contrôles de validation et une commande doctor.
Simulateur d'architecture de référence
Un simulateur de plateforme de données de référence de style EDM pour Azure. Démontre l'ingestion, la préparation, la validation, la survie, la source d'or, l'audit, le lignage, la surveillance et la distribution en aval à l'aide de Python, SQL Server/Azure SQL, des exemples de pipelines Azure Data Factory, des modèles Bicep, Docker Compose, pytest et ruff.
Utilitaires d'optimisation de base de données
Une boîte à outils d'optimisation des performances SQL Server pour les plates-formes de données par lots de style EDM. Aide à analyser la dette technique, les procédures lentes, les index manquants, le blocage, les statistiques d'attente, le magasin de requêtes, la pression de tempdb, les violations de SLA par lots et la préparation à la migration Azure. Comprend des exemples SQL mauvais ou optimisés, des scripts de diagnostic, la génération de données synthétiques, des rapports de référence et un scanner de dette technique SQL statique.
Modèles de télémétrie et d'alerte
Un kit de démarrage d'observabilité pour les plateformes de données Azure de style EDM. Montre comment surveiller les tâches par lots, les pipelines Azure Data Factory, les intégrations Python, les tâches SQL, les fichiers manquants, les exceptions de qualité des données, les violations de SLA et les échecs de distribution en aval. Comprend la journalisation JSON structurée, les ID de corrélation, le traceparent W3C, les requêtes KQL, les tables de surveillance SQL, les modèles d'alerte Bicep, les notes du tableau de bord, les runbooks et les conseils de coexistence Dynatrace.
Ces projets sont conçus comme des outils open source réutilisables et des implémentations de référence pour les développeurs travaillant avec des plateformes de données, des données financières, la modernisation d'Azure et des opérations de production.
Collaborez avec nous pour réduire la dette technique et créer des architectures évolutives.
Commencez dès aujourd'hui