Modul 6: Modellövervakning och underhåll

I denna modul fokuserar vi på livscykelhanteringen av ML-modeller efter att de har driftsatts i produktion. Vi utforskar metoder och verktyg för att övervaka modellprestanda, upptäcka dataförskjutningar, felsöka problem och implementera strategier för modellunderhåll. En framgångsrik MLOps-implementation kräver robusta övervaknings- och underhållssystem som säkerställer att modeller fortsätter att leverera värde över tid, även när datafördelningar och affärsbehov förändras.

Efter denna modul kommer du att:

• Förstå olika typer av drift som påverkar ML-modeller i produktion
• Kunna designa och implementera övervakningssystem för ML-modeller
• Behärska tekniker för att upptäcka och kvantifiera dataförskjutningar
• Implementera larm- och varningssystem för modellprestanda
• Utveckla strategier för modellomträning och uppdatering
• Hantera arkivering och pensionering av modeller

• Dataförskjutning (Data Drift): Förändringar i statistiska egenskaper hos inputdata
• Konceptförskjutning (Concept Drift): Förändringar i relationerna mellan input och output
• Modelldegradation: Försämring av modellprestanda över tid
• Uppdatering av affärskrav: Ändringar i de affärsmål eller KPI:er som modellen optimerar för

• Direkt övervakning: Mätning baserad på faktiska resultat (kräver ground truth)
• Indirekt övervakning: Mätning baserad på proxymått utan ground truth
• Offline vs. online övervakning: Batchanalys vs. realtidsövervakning
• Proaktiv vs. reaktiv övervakning: Förutse problem vs. reagera på problem

• Prediktionsmetriker: Accuracy, precision, recall, F1-score, etc.
• Tillförlitlighetsmetriker: Konfidensintervall, kalibrering
• Operationella metriker: Latens, throughput, resursutnyttjande
• Dataförskjutningsmetriker: Population Stability Index (PSI), Kolmogorov-Smirnov test
• Affärsmetriker: Kostnads- och intäkts-relaterade KPI:er

• Datainsamling: Loggning av prediktioner, inputs och utfall
• Metrikkalkylering: Beräkning av prestandaindikatorer
• Visualisering: Dashboards och rapporter
• Larmhantering: Notifieringar vid prestandaförsämringar
• Rotorsaksanalys: Verktyg för att undersöka problem

• Enkla loggningsramverk (Python logging, custom JSON-logging)
• Moderna observabilitetsplattformar (Prometheus, Grafana)
• ML-specifika övervakningsplattformar (MLflow, Weights & Biases, Evidently AI)
• Distribuerade spårningssystem (Jaeger, Zipkin)
• Loggaggregering (ELK stack, Splunk, Datadog)

När du designar dashboards för modellövervakning, fokusera på följande områden:

• Prestandaöversikt med kritiska KPI:er
• Driftdetektionsvisualisering
• Operationella metrics (latens, volym, felfrekvens)
• Fördelningsförändringar för viktiga feature
• Larmhistorik och incidentspårning

• Statistiska tester: KS-test, Chi-square test, Population Stability Index
• Distributional metrics: Wasserstein distance, Kullback-Leibler divergence
• Sliding window analysis: Analys av förändringar över tid
• Ensemble methods: Consensus-baserad detektering med flera algoritmer

• Larmutlösning: Notifiera team när drift överskrider tröskelvärden
• Automatisk omträning: Trigga pipeline för modellomträning
• Adaptiv kalibrering: Justera modelloutput baserat på driftmätningar
• Shadow mode: Köra ny modellversion parallellt med nuvarande
• Modellbytesstrategi: Systematisk process för modellersättning

• Schemalagd omträning: Regelbunden omträning baserat på tidsintervall
• Prestationsbaserad omträning: Omträning när prestanda sjunker under tröskelvärde
• Databaserad omträning: Omträning när tillräckligt med ny data har samlats
• Inkrementell träning: Kontinuerlig uppdatering av modeller med nya data
• Komplett omträning: Full omträning från grunden med alla data

Omträningspipelines bör innehålla följande komponenter:

• Automatiserad datainsamling och validering
• Feature regenerering med senaste definitioner
• Modellträning med standardiserade hyperparametrar
• Validering mot historiska data och senaste data
• A/B-testning mot nuvarande produktionsmodell
• Automatisk eller manuell godkännandeprocess
• Driftsättning med rollback-möjlighet

• Dokumentation: Spårbarhet av modellens syfte, design och begränsningar
• Compliance: Säkerställande av att modeller uppfyller regulatoriska krav
• Rättvisa och bias: Övervakning av rättvisa metrics över tid
• Revideringsmöjlighet: Förmåga att förklara specifika beslut

• Arkiveringspolicies: Definierade riktlinjer för långtidslagring av modeller
• Versionshantering: Robust versionering av arkiverade modeller
• Återhämtnings-/återställningsprocess: Mekanismer för att återaktivera äldre modeller
• Pensioneringskriterier: Tydliga riktlinjer för när en modell bör tas ur bruk
• Clean-up-procedurer: Process för att avlägsna data och infrastruktur

1. Implementera loggning: Skapa ett system för loggning av prediktioner och utfall 2. Drift detection: Implementera enkel driftdetektering för en typisk ML-modell 3. Dashboard-design: Designa en Grafana-dashboard för modellövervakning 4. Larmkonfiguration: Etablera larmtrösklar för kritiska mätvärden 5. Omträningspipeline: Skapa en automatiserad pipeline för modellomträning

• Evidently AI: Verktyg för modellövervakning och driftdetektering
• Prometheus & Grafana: Plattform för metrics-insamling och visualisering
• MLflow Model Registry: Hantering av modellversioner och stadier
• Great Expectations: Datakvalitetsvalidering för omträningspipelines
• WhyLogs: Open-source verktyg för dataprofilering och loggning

• ”Monitoring Machine Learning Models in Production” - Google Cloud AI Blog
• ”Concept Drift Detection Through Resampling” - M. Baena-Garcia et al.
• ”Beyond Accuracy: Behavioral Testing of NLP Models with CheckList” - M. Ribeiro et al.
• ”Machine Learning Testing: Survey, Landscapes and Horizons” - J. Zhang et al.
• ”ML Model Monitoring: 9 Tips From the Trenches” - Towards Data Science

• Modellövervakning är avgörande för långsiktig framgång med ML i produktion
• Data- och konceptförskjutning kräver kontinuerlig uppmärksamhet och proaktiva åtgärder
• Ett effektivt ML-övervakningssystem kombinerar operationell, prediktiv och affärsmässig övervakning
• Omträningsstrategier bör anpassas efter applikationens krav och riskprofil
• Modell-governance är lika viktigt som teknisk prestanda för framgångsrika ML-system

I nästa modul kommer vi att utforska MLOps i olika molnplattformar, där vi kommer att lära oss hur man implementerar MLOps-principer med managed services från olika molnleverantörer.