Skip to Content

Wiki source code of BMD NLZ-Zulagen Import

Last modified by Claude MCP Bot on 2026/06/23 21:14
Show last authors
1 {{html clean="false"}}
2 <p>BMD NLZ-Zulagen Import – Prozessdokumentation</p><p><strong>BMD NLZ-Zulagen Import</strong></p><p>Prozessdokumentation</p><table><tr><td>&nbsp;</td><td>&nbsp;</td></tr><tr><td>Version</td><td>1.4</td></tr><tr><td>Erstellt am</td><td>2026-05-22</td></tr><tr><td>Erstellt von</td><td>Patrick Sonderegger</td></tr><tr><td>Workspace</td><td>Fabric / 08_Data for Sharing / BMD NLZ-Zulagen Import</td></tr><tr><td>Status</td><td>Aktiv</td></tr></table><div><p>&nbsp;</p></div><div><p>&nbsp;</p></div><h1 id="H1.DCberblick" class="wikigeneratedid"><span><strong>1. Überblick</strong></span></h1><p>Dieser Prozess liest täglich CSV-Dateien (NLZ und Zulagen) sowie ein Excel-File (Kantine) von einem Windows-Fileserver ein, transformiert sie gemäss definierten Geschäftsregeln und legt die verarbeiteten Dateien wieder auf dem Fileserver ab. Die Output-Files heissen fix ntcsNLZ.csv, ntcsZulagen.csv und Importdatei Kantine.csv. Das Kantine-File wird zusätzlich mit Firmendaten aus dem Lakehouse spl_gold_lh angereichert.</p><p>Der Prozess läuft vollautomatisch einmal täglich über Microsoft Fabric (Pipeline + Notebook) und ist über ein On-Premises Data Gateway mit dem Fileserver verbunden.</p><h1 id="H2.Prozessablauf" class="wikigeneratedid"><span><strong>2. Prozessablauf</strong></span></h1><h2 id="H2.1TE4glicherAblauf" class="wikigeneratedid"><span><strong>2.1 Täglicher Ablauf</strong></span></h2><ul><li>Die Pipeline wird automatisch gestartet (Scheduled Trigger)</li><li>NLZ-, Zulagen- und Kantine-Files werden vom Fileserver in das Fabric Lakehouse kopiert</li><li>Das Notebook transformiert die Files gemäss den Geschäftsregeln</li><li>Die transformierten Files werden zurück auf den Fileserver geschrieben</li><li>Die ursprünglichen Source-Files werden auf dem Fileserver archiviert und gelöscht</li><li>Zeilen für Firma 260 werden in die Output-Files ntcsNLZ.csv / ntcsZulagen.csv integriert</li><li>Ein Log-Protokoll wird im Lakehouse abgelegt</li></ul><h2 id="H2.2OrdnerstrukturFileserver" class="wikigeneratedid"><span><strong>2.2 Ordnerstruktur Fileserver</strong></span></h2><h3 id="HTest-Umgebung" class="wikigeneratedid"><span><strong>Test-Umgebung</strong></span></h3><table><tr><td><strong>Typ</strong></td><td><strong>Pfad</strong></td></tr><tr><td>NLZ Source</td><td>\\atvietfs01\daten\Orbyte_Testordner\NLZ\Rohdaten</td></tr><tr><td>NLZ Output</td><td>\\atvietfs01\daten\Orbyte_Testordner\NLZ</td></tr><tr><td>NLZ Archiv</td><td>\\atvietfs01\daten\Orbyte_Testordner\NLZ\Rohdaten\Archiv</td></tr><tr><td>Zulagen Source</td><td>\\atvietfs01\daten\Orbyte_Testordner\Zulagen\Rohdaten</td></tr><tr><td>Zulagen Output</td><td>\\atvietfs01\daten\Orbyte_Testordner\Zulagen</td></tr><tr><td>Zulagen Archiv</td><td>\\atvietfs01\daten\Orbyte_Testordner\Zulagen\Rohdaten\Archiv</td></tr></table><h3 id="HLive-Umgebung" class="wikigeneratedid"><span><strong>Live-Umgebung</strong></span></h3><table><tr><td><strong>Typ</strong></td><td><strong>Pfad</strong></td></tr><tr><td>NLZ Source</td><td>\\atvietfs01\daten\IT\BMD\BMD\LV\NLZ\Rohdaten</td></tr><tr><td>NLZ Output</td><td>\\atvietfs01\daten\IT\BMD\BMD\LV\NLZ</td></tr><tr><td>NLZ Archiv</td><td>\\atvietfs01\daten\IT\BMD\BMD\LV\NLZ\Rohdaten\Archiv</td></tr><tr><td>Zulagen Source</td><td>\\atvietfs01\daten\IT\BMD\BMD\LV\Zulagen\Rohdaten</td></tr><tr><td>Zulagen Output</td><td>\\atvietfs01\daten\IT\BMD\BMD\LV\Zulagen</td></tr><tr><td>Zulagen Archiv</td><td>\\atvietfs01\daten\IT\BMD\BMD\LV\Zulagen\Rohdaten\Archiv</td></tr></table><h2 id="H2.3OrdnerstrukturFabricLakehouse28shared_data_lh29" class="wikigeneratedid"><span><strong>2.3 Ordnerstruktur Fabric Lakehouse (shared_data_lh)</strong></span></h2><p>Files/</p><p>└── CSV_Transformation/</p><p>├── NLZ/</p><p>│ ├── Raw/ ← Eingang vom Fileserver</p><p>│ ├── Output/ ← Transformierte Files</p><p>│ └── Archive/ ← Archiv der Source-Files</p><p>├── Zulagen/</p><p>│ ├── Raw/</p><p>│ ├── Output/</p><p>│ └── Archive/</p><p>├── Kantine/</p><p>│ ├── Raw/ ← Eingang vom Fileserver</p><p>│ ├── Output/ ← Importdatei Kantine.csv (ohne Firma 78)</p><p>│ ├── Output_78/ ← Importdatei Kantine.csv (nur Firma 78)</p><p>│ ├── Fehlerhafte_Eintraege/ ← Zeilen mit fehlender PersonalNr oder Betrag</p><p>│ └── Archive/ ← Archiv der Source-Files</p><p>└── Logs/ ← Run-Protokolle und Summaries</p><h1 id="H3.Transformationsregeln" class="wikigeneratedid"><span><strong>3. Transformationsregeln</strong></span></h1><h2 id="H3.1Zulagen-Files" class="wikigeneratedid"><span><strong>3.1 Zulagen-Files</strong></span></h2><p><em>Erkennungsmerkmal: Dateiname enthält "Zulagen"</em></p><table><tr><td><strong>Bedingung</strong></td><td><strong>Spalte</strong></td><td><strong>Aktion</strong></td></tr><tr><td>Spalte D == 7590</td><td>F (idx 5)</td><td>Wert auf 1 setzen</td></tr><tr><td>Spalte D == 7590</td><td>G (idx 6)</td><td>Aktuellen Monat aus Spalte A (YYYYMMDD) als Zahl eintragen (z.B. April → 4)</td></tr><tr><td>Spalte D != 7590</td><td>—</td><td>Zeile bleibt unverändert</td></tr></table><h2 id="H3.2NLZ-Files" class="wikigeneratedid"><span><strong>3.2 NLZ-Files</strong></span></h2><p><em>Erkennungsmerkmal: Dateiname enthält "NLZ"</em></p><h3 id="HSchritt12013ZeilenlF6schen28SpalteD29" class="wikigeneratedid"><span><strong>Schritt 1 – Zeilen löschen (Spalte D)</strong></span></h3><table><tr><td><strong>Wert in Spalte D</strong></td><td><strong>Aktion</strong></td></tr><tr><td>3, 7, 8, 11, 16</td><td>Zeile löschen</td></tr></table><h3 id="HSchritt22013Werteersetzen28SpalteD29" class="wikigeneratedid"><span><strong>Schritt 2 – Werte ersetzen (Spalte D)</strong></span></h3><table><tr><td><strong>Ursprungswert</strong></td><td><strong>Neuer Wert</strong></td></tr><tr><td>4</td><td>1</td></tr><tr><td>6</td><td>2</td></tr><tr><td>9</td><td>3</td></tr></table><h3 id="HSchritt32013Spaltenneuanordnen" class="wikigeneratedid"><span><strong>Schritt 3 – Spalten neu anordnen</strong></span></h3><table><tr><td><strong>Output-Spalte</strong></td><td><strong>Quelle</strong></td></tr><tr><td>A</td><td>Source Spalte B</td></tr><tr><td>B</td><td>Source Spalte C</td></tr><tr><td>C</td><td>Source Spalte D (nach Ersetzung)</td></tr><tr><td>D</td><td>Fix-Wert 3</td></tr><tr><td>E</td><td>Source Spalte A (Datum)</td></tr><tr><td>F</td><td>Source Spalte A (Datum, dupliziert)</td></tr></table><h2 id="H3.3Firma-260-Integration" class="wikigeneratedid"><span><strong>3.3 Firma-260-Integration</strong></span></h2><table><tr><td><strong>Output-File</strong></td><td><strong>Filterkriterium</strong></td><td><strong>Änderung</strong></td></tr><tr><td>ntcsZulagen.csv</td><td>Spalte B (idx 1) == 70</td><td>Zeilen kopieren, Spalte B auf 260 setzen, ans Ende von ntcsZulagen.csv anhängen</td></tr><tr><td>ntcsNLZ.csv</td><td>Spalte A (idx 0) == 70</td><td>Zeilen kopieren, Spalte A auf 260 setzen, ans Ende von ntcsNLZ.csv anhängen</td></tr></table><h2 id="H3.4Kantine-File" class="wikigeneratedid"><span><strong>3.4 Kantine-File</strong></span></h2><p><em>Erkennungsmerkmal: Dateiendung .xlsx im Kantine/Raw-Ordner</em></p><table><tr><td><strong>Schritt</strong></td><td><strong>Beschreibung</strong></td></tr><tr><td>1. Filter: Firma „Rudi Schütz“</td><td>Zeilen mit Spalte Firma == „Rudi Schütz“ werden gelöscht</td></tr><tr><td>2. Filter: Personalnummer leer</td><td>Zeilen ohne Personalnummer (Spalte Vorname leer) werden übersprungen</td></tr><tr><td>3. Join mit sdmperson</td><td>Personalnummer wird mit spl_gold_lh.rimo.sdmperson (Spalte persid) gejoint. Resultat: getcompanyidorna</td></tr><tr><td>4. Folgemonat berechnen</td><td>Spalte Monat (Format MM/YYYY) wird um 1 Monat erhöht und als einfache Monatszahl ausgegeben. Beispiel: 04/2026 → 5</td></tr><tr><td>5. Output-Struktur</td><td>Spalte A: Monat (einfache Zahl, z.B. 5) | B: getcompanyidorna | C: Personalnummer | D: 2934 (fix) | E: Betrag (2 Dezimalstellen, Komma)</td></tr><tr><td>6. Firma-78-Split</td><td>Zeilen mit getcompanyidorna == 78 werden im Originalformat (Spalten: Firma | Kunde | PersonalNr | Nachname | Betrag | Monat) in ein separates File geschrieben (Kantine/Output_78 → FS: Kantine\Germany). Alle anderen Zeilen kommen transformiert in Kantine/Output.</td></tr><tr><td>7. Firma-260-Integration</td><td>Zeilen mit getcompanyidorna == 70 werden kopiert, Firma auf 260 geändert und ans Ende von Kantine/Output angehängt.</td></tr><tr><td>8. Fehlerhafte Einträge</td><td>Zeilen mit fehlender Personalnummer und/oder fehlendem Betrag werden aus dem Output entfernt und im Originalformat als „Fehlerhafte Eintraege.csv“ unter Kantine/Fehlerhafte_Eintraege gespeichert.</td></tr></table><h1 id="H4.TechnischeDokumentation" class="wikigeneratedid"><span><strong>4. Technische Dokumentation</strong></span></h1><h2 id="H4.1FabricKomponenten" class="wikigeneratedid"><span><strong>4.1 Fabric Komponenten</strong></span></h2><table><tr><td><strong>Komponente</strong></td><td><strong>Name</strong></td><td><strong>Typ</strong></td></tr><tr><td>Pipeline</td><td>Pipeline_CSV_Transform</td><td>Data Pipeline</td></tr><tr><td>Notebook</td><td>csv_transformation</td><td>Notebook (Python)</td></tr><tr><td>Lakehouse</td><td>shared_data_lh</td><td>Lakehouse</td></tr><tr><td>Gateway</td><td>SPL_Datagateway</td><td>On-Premises Data Gateway</td></tr></table><h2 id="H4.2Pipeline-ActivitiesimDetail" class="wikigeneratedid"><span><strong>4.2 Pipeline-Activities im Detail</strong></span></h2><table><tr><td><strong>Activity</strong></td><td><strong>Typ</strong></td><td><strong>Von</strong></td><td><strong>Nach</strong></td></tr><tr><td>Copy NLZ FS → Lakehouse</td><td>Copy data</td><td>FS: NLZ\Rohdaten\*.csv</td><td>Lakehouse: NLZ/Raw</td></tr><tr><td>Copy Zulagen FS → Lakehouse</td><td>Copy data</td><td>FS: Zulagen\Rohdaten\*.csv</td><td>Lakehouse: Zulagen/Raw</td></tr><tr><td>csv_transformation (Notebook)</td><td>Notebook</td><td>Lakehouse: NLZ/Raw + Zulagen/Raw</td><td>Lakehouse: NLZ/Output + Zulagen/Output</td></tr><tr><td>Copy NLZ Lakehouse → FS</td><td>Copy data</td><td>Lakehouse: NLZ/Output</td><td>FS: NLZ\</td></tr><tr><td>Copy Zulagen Lakehouse → FS</td><td>Copy data</td><td>Lakehouse: Zulagen/Output</td><td>FS: Zulagen\</td></tr><tr><td>Archive NLZ on FS</td><td>Copy data</td><td>FS: NLZ\Rohdaten\*.csv</td><td>FS: NLZ\Rohdaten\Archiv</td></tr><tr><td>Delete NLZ on FS</td><td>Delete data</td><td>FS: NLZ\Rohdaten\*.csv</td><td>—</td></tr><tr><td>Archive Zulagen on FS</td><td>Copy data</td><td>FS: Zulagen\Rohdaten\*.csv</td><td>FS: Zulagen\Rohdaten\Archiv</td></tr><tr><td>Delete Zulagen on FS</td><td>Delete data</td><td>FS: Zulagen\Rohdaten\*.csv</td><td>—</td></tr><tr><td>Copy Kantine FS → Lakehouse</td><td>Copy data</td><td>FS: Kantine\Rohdaten\*.xlsx</td><td>Lakehouse: Kantine/Raw</td></tr><tr><td>Copy Kantine Lakehouse → FS</td><td>Copy data</td><td>Lakehouse: Kantine/Output</td><td>FS: Kantine\</td></tr><tr><td>Copy Kantine (Firma 78) Lakehouse → FS</td><td>Copy data</td><td>Lakehouse: Kantine/Output_78</td><td>FS: Kantine\Germany</td></tr><tr><td>Archive Kantine on FS</td><td>Copy data</td><td>FS: Kantine\Rohdaten\*.xlsx</td><td>FS: Kantine\Rohdaten\Archiv</td></tr><tr><td>Delete Kantine on FS</td><td>Delete data</td><td>FS: Kantine\Rohdaten\*.xlsx</td><td>—</td></tr><tr><td>Copy Kantine Fehlerhafte Einträge Lakehouse → FS</td><td>Copy data</td><td>Lakehouse: Kantine/Fehlerhafte_Eintraege</td><td>FS: Kantine\Fehlerhafte Eintraege</td></tr></table><h2 id="H4.3Notebook-Konfiguration" class="wikigeneratedid"><span><strong>4.3 Notebook-Konfiguration</strong></span></h2><p>Alle konfigurierbaren Pfade sind am Anfang des Notebooks im Abschnitt KONFIGURATION zusammengefasst:</p><p>BASE_DIR = "/lakehouse/default/Files/CSV_Transformation"</p><p>NLZ_SOURCE_DIR = f"&#123;BASE_DIR}/NLZ/Raw"</p><p>NLZ_OUTPUT_DIR = f"&#123;BASE_DIR}/NLZ/Output"</p><p>NLZ_ARCHIVE_DIR = f"&#123;BASE_DIR}/NLZ/Archive"</p><p>ZUL_SOURCE_DIR = f"&#123;BASE_DIR}/Zulagen/Raw"</p><p>ZUL_OUTPUT_DIR = f"&#123;BASE_DIR}/Zulagen/Output"</p><p>ZUL_ARCHIVE_DIR = f"&#123;BASE_DIR}/Zulagen/Archive"</p><p>KAN_SOURCE_DIR = f"&#123;BASE_DIR}/Kantine/Raw"</p><p>KAN_OUTPUT_DIR = f"&#123;BASE_DIR}/Kantine/Output"</p><p>KAN_OUTPUT_78_DIR = f"&#123;BASE_DIR}/Kantine/Output_78"</p><p>KAN_ERROR_DIR = f"&#123;BASE_DIR}/Kantine/Fehlerhafte_Eintraege"</p><p>KAN_ARCHIVE_DIR = f"&#123;BASE_DIR}/Kantine/Archive"</p><p>SDMPERSON_ABFSS = "abfss://&lt;container&gt;@&lt;storage&gt;.dfs.core.windows.net/spl_gold_lh/rimo/sdmperson"</p><p>LOG_DIR = f"&#123;BASE_DIR}/Logs"</p><h2 id="H4.4Logging26Monitoring" class="wikigeneratedid"><span><strong>4.4 Logging &amp; Monitoring</strong></span></h2><p>Pro Run werden zwei Dateien im Lakehouse unter CSV_Transformation/Logs/ erstellt:</p><table><tr><td><strong>Datei</strong></td><td><strong>Inhalt</strong></td></tr><tr><td>YYYYMMDD_HHMMSS_run.log</td><td>Vollständiges Zeilenprotokoll mit Timestamps</td></tr><tr><td>YYYYMMDD_HHMMSS_summary.json</td><td>Kompakte Zusammenfassung: Status, verarbeitete Files, Fehler</td></tr></table><p>Run History in Fabric: Pipeline → View run history → Status, Dauer und Fehlerdetails pro Activity.</p><h1 id="H5.Fehlerbehandlung26Troubleshooting" class="wikigeneratedid"><span><strong>5. Fehlerbehandlung &amp; Troubleshooting</strong></span></h1><h2 id="H5.1WoseheichobderProzesserfolgreichwar3F" class="wikigeneratedid"><span><strong>5.1 Wo sehe ich ob der Prozess erfolgreich war?</strong></span></h2><ul><li>Fabric Portal → Workspace → Pipeline → View run history (Status pro Activity, Dauer, Fehlertext)</li><li>Lakehouse → shared_data_lh → Files → CSV_Transformation → Logs → _summary.json für schnellen Überblick</li><li>_run.log für vollständige Details</li></ul><h2 id="H5.2HE4ufigeFehlerundLF6sungen" class="wikigeneratedid"><span><strong>5.2 Häufige Fehler und Lösungen</strong></span></h2><table><tr><td><strong>Fehler</strong></td><td><strong>Mögliche Ursache</strong></td><td><strong>Lösung</strong></td></tr><tr><td>FileNotFoundError: .../Raw</td><td>Lakehouse-Ordner fehlt</td><td>Ordner manuell im Lakehouse anlegen</td></tr><tr><td>Source-Ordner nicht erreichbar</td><td>Gateway offline oder Pfad falsch</td><td>Gateway-Status prüfen; Pfad in Pipeline-Activity kontrollieren</td></tr><tr><td>Cannot connect to \\atvietfs01\...</td><td>Pfad-Dopplung im Wildcard folder</td><td>Basispath der Verbindung (\\atvietfs01\Daten) nicht nochmals angeben</td></tr><tr><td>Keine CSV-Files gefunden</td><td>Source-Ordner leer</td><td>Prüfen ob Files korrekt im Source-Ordner abgelegt wurden</td></tr><tr><td>Output-File fehlt</td><td>Transformation-Fehler</td><td>_run.log im Lakehouse öffnen und nach ERROR suchen</td></tr></table><h2 id="H5.3ManuellerTest" class="wikigeneratedid"><span><strong>5.3 Manueller Test</strong></span></h2><ul><li>Source-Files manuell in Raw-Ordner im Lakehouse hochladen (Lakehouse → Files → NLZ/Raw oder Zulagen/Raw → Upload)</li><li>Notebook direkt öffnen und Run all klicken</li><li>Output-Files im Lakehouse unter NLZ/Output bzw. Zulagen/Output prüfen</li></ul><h2 id="H5.4Anpassungenvornehmen" class="wikigeneratedid"><span><strong>5.4 Anpassungen vornehmen</strong></span></h2><table><tr><td><strong>Was ändern?</strong></td><td><strong>Wo?</strong></td></tr><tr><td>Fileserver-Pfade</td><td>Pipeline-Activities (Source/Destination)</td></tr><tr><td>Transformationsregeln</td><td>Notebook: Funktionen transform_nlz() / transform_zulagen()</td></tr><tr><td>Firma-260-Logik</td><td>Notebook: Funktion process_folder() (260-Logik integriert)</td></tr><tr><td>Scheduled Trigger (Uhrzeit)</td><td>Pipeline → Schedule oben in der Toolbar</td></tr><tr><td>Lakehouse-Pfade</td><td>Notebook: Abschnitt KONFIGURATION (ganz oben)</td></tr></table><h1 id="H6.ZustE4ndigkeiten" class="wikigeneratedid"><span><strong>6. Zuständigkeiten</strong></span></h1><table><tr><td><strong>Bereich</strong></td><td><strong>Zuständig</strong></td></tr><tr><td>Fachliche Transformationsregeln</td><td>BMD-Team</td></tr><tr><td>Fabric Pipeline &amp; Notebook</td><td>IT / Patrick Sonderegger</td></tr><tr><td>Fileserver &amp; Gateway</td><td>IT-Infrastruktur</td></tr><tr><td>Monitoring &amp; Fehleranalyse</td><td>IT / Patrick Sonderegger</td></tr></table><h1 id="H7.C4nderungshistorie" class="wikigeneratedid"><span><strong>7. Änderungshistorie</strong></span></h1><table><tr><td><strong>Version</strong></td><td><strong>Datum</strong></td><td><strong>Änderung</strong></td><td><strong>Autor</strong></td></tr><tr><td>1.0</td><td>2026-05-22</td><td>Erstversion</td><td>Patrick Sonderegger</td></tr><tr><td>1.1</td><td>2026-05-26</td><td>Output-Dateinamen fix (ntcsNLZ.csv, ntcsZulagen.csv); 260-Logik in process_folder() integriert; create_260_files() entfernt</td><td>Patrick Sonderegger</td></tr><tr><td>1.2</td><td>2026-05-27</td><td>Kantine-Verarbeitung hinzugefügt: Excel-Einlesen, Join mit sdmperson (Delta via abfss), Folgemonat-Logik, Firma-78-Split, neue Pipeline-Activities</td><td>Patrick Sonderegger</td></tr><tr><td>1.3</td><td>2026-05-28</td><td>Kantine: Monat als einfache Zahl (statt MM/YYYY); Firma-260-Integration; Fehlerhafte-Einträge-Logik (fehlende PersonalNr/Betrag → Fehlerhafte Eintraege.csv); neue Pipeline-Activity; KAN_ERROR_DIR</td><td>Patrick Sonderegger</td></tr><tr><td>1.4</td><td>2026-06-08</td><td>Kantine: Germany-File (Output_78) wird im Originalformat gespeichert (Spalten: Firma | Kunde | PersonalNr | Nachname | Betrag | Monat)</td><td>Patrick Sonderegger</td></tr></table><p>Version 1.0 | 2026-05-22 | Seite 7</p><p>&nbsp;</p>
3 {{/html}}
4
5 ----
6
7 == Verwandte Themen ==
8
9 //Kuratiert — kann direkt im Editor ergänzt werden:////
10
11 * [[BMD SQL>>doc:IT-Wiki.02-Tools.Software.BMD.BMD-SQL.WebHome]]
12 * [[BMD Test>>doc:IT-Wiki.02-Tools.Software.BMD.BMD-Test.WebHome]]
13 * [[Fehlermeldungen>>doc:IT-Wiki.02-Tools.Software.BMD.Fehlermeldungen.WebHome]]
14
15 {{include reference="IT-Wiki.Makros.Verwandte-Themen.WebHome"/}}
16
17 ----
18
19 **Status:** Migriert — Team-Review ausstehend · **Owner:** //(festlegen)// · **Letzter Review:** 2026-06-11