Flat File Import Inhalt

1. Was ist eine Flat File-Datenbank?
2. Wofür wird eine Flat File verwendet?
3. Vorteile und Nachteile von Flat File-Datenbanken
4. Was ist der Unterschied zwischen Flat File und relationaler Datenbank?
5. Was ist eine Flat-File-Integration?
6. API vs. CSV – was sollten Sie verwenden?
7. Was ist ein Flat-File-Import?
8. Was ist ein Flat-File-Import-Tool?
9. Anleitung: Wie importiere ich eine Flat File in den SQL Server?
10. Flat File Import: Nächste Schritte

Was ist eine Flatfile-Datenbank?

Eine Flat File (flache Datei) ist eine Datei, die keine interne Hierarchie enthält. Ursprünglich von IBM in den frühen 1970er Jahren entwickelt, wird eine Flatfile-Datenbank verwendet, um unstrukturierte Daten im reinen Textformat zu speichern. Einfach ausgedrückt, handelt es sich um eine Datenbank, die in einer Datei gespeichert ist und als Flat File bezeichnet wird. Einzelne Zeilen der Textdatei enthalten einen Datensatz mit zusätzlichen Datenfeldern, die durch Begrenzungszeichen getrennt sind. Diese Begrenzungszeichen können Kommas oder Tabulatoren sein, um ein strukturiertes Format zu definieren. Das strukturierte Format einer Flatfile-Datenbank enthält nicht mehrere Tabellen, wie sie oft in einer relationalen Datenbank, wie z. B. einer Oracle-Datenbank, MySQL oder Microsoft SQL Server, zu finden sind. Die meisten Datenbankprogramme können jedoch Flatfile-Datenbanken importieren, so dass sie in einer relationalen Datenbank verwendet werden können. Eine flache Datei wird häufig beim Importieren von Daten zwischen Datenbanken verwendet, z. B. beim Importieren eines Produktkatalogs oder einer Kundenkontaktliste.

Ein Beispiel für die Struktur einer flachen Datei kann man sehen, wenn man ein Arbeitsblatt mit einer Liste von Produkten, Kunden, Händlern oder Lieferanten betrachtet. Das Arbeitsblatt kann leicht in Microsoft Office-Anwendungen erstellt werden und Details wie eine eindeutige ID, den Firmennamen, die Kontaktperson, die Kontaktadresse und die Telefonnummer enthalten. Die Kalkulationstabelle wird häufig als CSV-Datei gespeichert und kann bei Bedarf einfach sortiert, angezeigt und extrahiert werden.

Daten innerhalb einer flachen Datei sind nicht enthalten:

• Keine interne Hierarchie
• Irgendwelche Verknüpfungen zu anderen Dateien
• Jegliche Textverarbeitungsinformationen oder Formatierungen

Arten von flachen Dateien

Flache Dateien können verwendet werden, um Daten von einer Datenbank oder einem System in ein anderes zu übertragen. Typen von flachen Dateien sind:

• CSV (Comma Separated Value)
• TXT-Dateien
• XML-Dateien

Der Unterschied zwischen einer flachen Datei und einer CSV-Datei besteht darin, dass eine CSV-Datei ein Begrenzungszeichen verwendet, um Datenfelder zu trennen (in den meisten Fällen ist dies ein Komma, obwohl auch umschließende Zeichen verwendet werden können, z. B. Anführungszeichen), während begrenzte Dateien ein Begrenzungszeichen nur zur Strukturierung der Daten verwenden. Bei der Formatierung von Daten werden Begrenzungszeichen verwendet, um verschiedene Felder innerhalb von Datensätzen zu finden und haben eine feste Breite. Da CSVs zum Speichern von tabellarischen Daten verwendet werden, können sie leicht aus Tabellenkalkulationen in ein lesbares Format importiert und exportiert werden.

Wofür wird eine flache Datei verwendet?

Eine flache Datei wird für den Import von Daten in ein Geschäftssystem verwendet, meist wenn eine anfängliche Synchronisierung oder ein einmaliger Import einer großen Datenmenge erforderlich ist. Es ist üblich, dass Unternehmen große Datenmengen wie Kundeninformationen und Produktkataloge in eine Datenbank verschieben oder regelmäßig wertvolle CSV-Dateien zwischen Kollegen, Lieferanten, Kunden oder entfernten Standorten weitergeben, um einen manuellen Geschäftsprozess zu starten, zu unterstützen oder zu beenden.

Obwohl keine Datenmanipulation an den in der flachen Datei gespeicherten Daten stattfindet, kann sie relevante Informationen vom Server in die gewünschte Datenbank transportieren. Ihre einfache Struktur bedeutet, dass sie im Vergleich zu stärker strukturierten Dateien nur wenig Platz benötigt. Die Daten in einer Flat File behalten ihre ursprüngliche Form bei, bis sie in eine Staging-Datenbank innerhalb eines Business-Systems übertragen werden. Sobald sich die Daten im Staging-Bereich befinden, werden sie in das/die ihnen zugewiesene(n) Feld(er) transformiert.

Betrachtet man das Szenario einer neuen eCommerce-Plattform, wie Magento, Shopify oder WooCommerce, müssen Produktkatalogdaten importiert werden. Bulk-Produkt-Uploads werden in der Regel über eine CSV-Datei zusammen mit der Importroutine der eCommerce-Plattform angestoßen. Diese Prozesse sind jedoch mitarbeiterintensiv, fehleranfällig und langsam in der Abwicklung. Das automatische Parsen von CSV-Dateien mit einem speziellen Tool ermöglicht es Ihnen, die sich wiederholende Mitarbeiteradministration vollständig zu beseitigen, die Unternehmensleistung zu verbessern und die Datenlatenz zwischen den Geschäftssystemen zu reduzieren.

Der Nachteil von Massenimporten von Flat-Files, insbesondere beim Import von mehr als 5.000 Produkten, ist, dass die CSV-Datei aufgrund von Verarbeitungsfehlern, wie z. B. doppelten Kommas oder einem Komma an der falschen Stelle, zurückgewiesen werden kann. Das bedeutet, dass die Datei manuell durchsucht werden muss, um die Anomalie zu lokalisieren, die Datei zu korrigieren und sie dann erneut zu importieren, in der Hoffnung, dass die Datei dabei nicht ihre Formatierung verliert.

Fehler beim Bulk-Import von Flat-Files können durch den Einsatz eines ETL-Tools (Extract-Transform-Load) vermieden werden, das die relevanten Daten dynamisch aus der CSV-Datei extrahiert, die Daten so transformiert, dass sie mit der Zieldatenbank kompatibel sind, und die Daten an den gewünschten Speicherort in der Datenbank lädt. Ein ETL-Tool kann verwendet werden, um Standard-Importroutinen in Massen durchzuführen, mit oder ohne Datentransformation, oder es kann verwendet werden, wenn keine Dateiimportroutine vorhanden ist.

Vor- und Nachteile von Flat-File-Datenbanken

Eine Flat-File-Datenbank, auch Textdatenbank genannt, wird verwendet, um wichtige Daten als reine Textdatei zu speichern. Das strukturierte Format einer Flat File ist einfach zu verstehen und erlaubt dem Benutzer, die Ergebnisse schnell zu sortieren. Im Folgenden werden die Vor- und Nachteile von Flatfiles detailliert beschrieben

Vorteile einer Flatfile-Datenbank

Zu den Vorteilen einer Flatfile-Datenbank gehören:

• Eine gute Option für kleine Datenbanken, z. B. eine kleine Anzahl von Produkten in einem Katalog oder eine Kundenkontaktliste
• Datensätze werden an einem Ort gespeichert
• Einfach zu konfigurieren und zu lesen für Benutzer, die Microsoft Office-Anwendungen verwenden
• Schnell und einfach einzurichten und sofort zu verwenden
• Flache Dateien bieten Such- und Sortierwerkzeuge, die von Anwendern oft benötigt werden
• Datensätze können anhand von einfachen Kriteriensätzen leicht angezeigt oder extrahiert werden

Nachteile einer Flat-File-Datenbank

Zu den Nachteilen einer Flat-File-Datenbank gehören:

• Flache Dateidatenbanken können für den Benutzer schwieriger zu aktualisieren sein
• Anfällig für Formatierungsfehler und schwer zu änderndes Datenformat
• Flat-File-Importroutinen können fehlschlagen, wenn die Trennzeichen an der falschen Stelle stehen
• Eingeschränkte Möglichkeiten für komplexere Abfragen
• In einer Flat-File-Datenbank gibt es keine Transaktionen
• Kann anfällig für Duplizierung mit mehreren Datenbankeinträgen sein
• Nicht so sicher oder konsistent wie eine relationale Datenbank

Was ist der Unterschied zwischen Flat File und relationaler Datenbank?

In diesem Abschnitt werden wir die Unterschiede zwischen einer flachen Datei und einer relationalen Datenbank besprechen. Wie wir bisher herausgefunden haben, kann eine flache Datei verwendet werden, wenn eine erste Synchronisation oder ein einmaliger Import einer großen Datenmenge erforderlich ist. Wir müssen jedoch die Definition einer relationalen Datenbank verstehen. Bei der Entscheidung, ob eine flache Datei oder eine relationale Datenbank für ein Projekt eingesetzt werden soll, ist es am besten, die Vor- und Nachteile der jeweiligen Datenbanklösung abzuwägen. Zu den wichtigsten Punkten, die Sie berücksichtigen sollten, gehören die geschäftlichen Anforderungen, das Datenvolumen und die Benutzerfreundlichkeit für Ihre Mitarbeiter.

Was ist eine relationale Datenbank?

Eine relationalen Datenbank ist eine Datenbank, die so strukturiert ist, dass sie eine Beziehung zwischen den gespeicherten Geschäftsdaten und Informationen erkennt. Eine relationale Datenbank, auch bekannt als relationales Datenbankmanagementsystem (RDMS), ist eine Datenbank, die Geschäftsdaten speichert und gleichzeitig den Zugriff auf Datenpunkte ermöglicht, die miteinander verknüpft sind. Eine relationale Datenbank wird häufig verwendet, wenn zusammenhängende Daten mit minimaler Systemlogik gespeichert und abgerufen werden sollen.

Relationale Datenbanken bieten Datenkonsistenz durch strukturierte Tabellen über Geschäftssysteme und Anwendungen hinweg. Die Daten werden in separaten Spalten und Zeilen gespeichert. Die Spalten und Zeilen bilden eine Tabelle, ähnlich wie bei einer Tabellenkalkulation. Im Gegensatz zu einer flachen Datei behält eine relationale Datenbank ihre Konsistenz bei, indem sie Regeln hat, die keine doppelten Datenzeilen in ihrer Tabelle berücksichtigen. Dadurch wird das Risiko beseitigt, dass falsche Daten in die Datenbank gelangen, wie z. B. doppelte Kundenkonten. Relationale Datenbanken ermöglichen es dem Benutzer, die strukturierten Tabellen mit Werkzeugen zur Berichterstellung abzufragen, um monatliche Berichte zu erstellen, z. B. monatliche Verkaufszahlen, Finanzprognosen, Inventar- und Kontoauszüge.

Beliebte relationale Datenbanken sind:

• Microsoft SQL Server
• MySQL
• Oracle-Datenbank

Relationale Datenbanken werden oft von mehreren Anwendern innerhalb eines Unternehmens verwendet, wenn Mitarbeiter auf Daten zugreifen müssen, um Änderungen vorzunehmen, oder wenn eine erhöhte Datentransparenz im gesamten Unternehmen erforderlich ist, um die Entscheidungsfindung zu unterstützen.

Der Unterschied zwischen einer flachen Datei und einer relationalen Datenbank im Überblick

Wie wir herausgefunden haben, speichert eine Flat-File-Datenbank Daten in einer einzigen Tabellenstruktur in ihrem einfachsten Format, während eine relationale Datenbank mehrere Tabellenstrukturen verwendet, die Querverweise und Abfragen von Datensätzen zwischen Tabellen ermöglichen. Die folgende Tabelle zeigt den allgemeinen Unterschied zwischen einer Flat-File-Datenbank und einer relationalen Datenbank.

Wie oben erwähnt, wird eine flache Datei oft von Organisationen verwendet, wenn sie einen neuen eCommerce-Shop in Betrieb nehmen und Produktkatalogdaten in ein Geschäftssystem importieren müssen. Dies dient der anfänglichen Synchronisation oder einem einmaligen Import einer großen Datenmenge in eine relationale Datenbank. Das Problem dabei ist, dass die Datenbankstrukturen unterschiedlich sein können, da die Datenstruktur der flachen Datei eine andere ist als die der Zieldatenbank.

Wenn eine flache Datei verwendet wird, ist eine CSV-Datei oft die bevorzugte Option für Massen-Uploads. Sie hat jedoch auch ihre Grenzen. Wenn ein Flat-File-Import oder eine Datenbankintegration erforderlich ist, bieten ETL-Systeme die Möglichkeit, Daten von einer Datenquelle mit einer anderen zu synchronisieren, indem sie Daten aus einer bestimmten Quelle extrahieren, diese Informationen so umwandeln, dass sie mit dem Format oder der Datenbankstruktur des Zielsystems kompatibel sind, und dann die Daten in den Datenbankstandort laden.

Was ist Flat File Integration?

Die Flat-File-Integration ist das Szenario, bei dem die ursprüngliche Datenquelle und ihre Zieldaten in einer flachen Datei dargestellt werden. Die dateibasierte Integration kann eine CSV-Datei sein. Modernere Geschäftssysteme können jedoch eine API-Integration erfordern, um die relevanten Daten zu synchronisieren. Die dateibasierte Integration ermöglicht die Datensynchronisation mit einem anderen Geschäftssystem. Die CSV-Integration wird traditionell verwendet, wenn ein Flat-File-Import in Programmen erforderlich ist, die Daten in Tabellen speichern, wie z. B. im eCommerce, Data Warehousing oder wenn ältere Geschäftssysteme keine verfügbare API haben.

Ein Flat-File-Import wird häufig für die folgenden Integrationsszenarien verwendet:

• Import von CSV-Dateien in ein ERP-System, z. B. Massenimport von eCommerce-Produktbeständen
• Weitergabe einer CSV-Datei mit CRM-Daten zwischen Organisationen, z. B. Weitergabe einer Datei mit Kunden, die sich dem Ende ihres Vertrags nähern, an eine Agentur für Kundenbindung

Was ist eine API?

Eine API steht für Application Programming Interface. Die Bedeutung einer API definiert einen Datenabgleich zwischen mehreren Geschäftssystemen und Datenbanken, wie z. B. die Arten von Daten, die aufgerufen und angefordert werden, wie sie zu machen sind, welche Datenformate verwendet werden sollen und was als nächstes im Geschäftsprozess passiert. Vereinfacht ausgedrückt, ermöglicht eine API die Interaktion zwischen zwei oder mehreren Geschäftssystemen oder -anwendungen, die “miteinander reden”.

Moderne Geschäftssysteme und -anwendungen, wie Buchhaltungs-, ERP-, CRM- und eCommerce-Webdienste, bieten eine API. Eine API ruft zwischen Systemen hin und her und ermöglicht es ihnen, miteinander zu interagieren, und kann zusätzlich die Möglichkeit bieten, damit verbundene Aufgaben zur Automatisierung von Geschäftsprozessen zu erweitern.

Eine API stellt Entwicklern vereinfachte Anfragemethoden zur Verfügung, die während der Datensynchronisation verwendet werden können. Dazu gehören:

• GET: Ermöglicht das Abrufen von Informationen, z. B. eines Kundenauftrags
• PUT: Wird verwendet, um bestimmte Daten zu aktualisieren, z. B. die Aktualisierung von Produktpreisen und -listen
• POST: Ermöglicht das Anlegen einer Entität, z. B. einer neuen Produktkategorie
• DELETE: Löschen einer Entität/Einzelheit

Wofür wird eine API verwendet?

Eine API bietet Unternehmen die Möglichkeit, die Interaktion zwischen Systemen und Anwendungen zu ermöglichen. Dies bedeutet, dass Unternehmen ihre Daten effizienter verwalten können. Eine API kann für die Rationalisierung von Geschäftsprozessen verwendet werden, z. B. für einen eCommerce-Produktkatalog, um die Konsistenz von Lagerbeständen aufrechtzuerhalten oder um die Zeit von der Bestellung bis zur Erfüllung zu reduzieren, indem eine eCommerce-Plattform mit einem ausgewählten Kurierdienst integriert wird. Zum Beispiel kann eine API verwendet werden, um automatisch Kundenaufträge von einer eCommerce-Plattform zu HOLEN und sie in Pseudo-Echtzeit in ein ERP-System zu PUTEN. Die Auftragsdaten und die zugehörigen Kundeninformationen (Name, Adresse, Zahlungsdetails, Auftragsnummer usw.) werden automatisch in das ERP-System gestellt und bei Bedarf dynamisch zur Erfüllung an einen Kurierdienst übergeben, ohne dass ein Mitarbeiter eingreifen muss.

API vs. CSV – Was sollten Sie verwenden?

Abhängig von den Informationen und der Regelmäßigkeit des erforderlichen Datenabgleichs sind sowohl die Integration mit einer API als auch ein Flat-File-Import über eine CSV-Datei praktikable Optionen für die Übertragung von Geschäftsdaten. Wenn Geschäftssysteme nicht über eine API verfügen, wenn kleine oder unregelmäßige Aktualisierungen erforderlich sind oder für die anfängliche Synchronisierung oder den einmaligen Import einer großen Datenmenge, wird die Datenintegration häufig mit einem Flat-File-Import durchgeführt.

Je nach Größe des Unternehmens, Datenvolumen und Geschäftssystemen wird eine API oft als die bevorzugte Integrationsmethode angesehen, da sie als Business Driver zur Automatisierung sich wiederholender Dateneingabeaufgaben eingesetzt werden kann.

Vor- und Nachteile der Verwendung einer API

Zu den allgemeinen Vor- und Nachteilen einer API gehören

• Ermöglicht die automatische Synchronisation von Daten zwischen Systemen und Anwendungen ohne Interaktion der Mitarbeiter
• Liefert die aktuellsten und verfügbaren Informationen, die benötigt werden
• Minimiert Datenimportfehler, Duplikate, fehlende Datensätze etc.
• Verbessert die Geschwindigkeit und Konsistenz des Datenimports
• Erleichtert Entwicklern die Automatisierung von Geschäftsprozessen
• System-APIs können sich ändern, und ein automatisierter Prozess könnte fehlschlagen. Dies lässt sich jedoch leicht beheben, abhängig von den verwendeten Integrationswerkzeugen

Im Gegensatz zu einer API, die zwischen Systemen und Anwendungen hin und her ruft, tun dies flache Dateien, wie z. B. reiner Text oder CSV (mit Trennzeichen oder fester Breite), nicht. Wenn eine Flat-File-Importroutine erforderlich ist, ist es ratsam, ein Flat-File-Import-Tool zu verwenden, um das erforderliche Format dynamisch zu extrahieren, zu transformieren und zu laden und die Datenkonsistenz zu wahren.

Was ist ein Flat File Import?

Ein Flat File-Import ist ein Mittel zum Importieren von Daten aus einer flachen Datei, wie z. B. CSV oder TXT, in eine neue Datenbank. Er wird häufig verwendet, wenn Ihre Datenquelle und die Zieldaten in einer flachen Datei verarbeitet werden müssen und kann als Alternative zu einer API verwendet werden. Obwohl es für Unternehmen gängige Praxis ist, Datendateien an einen anderen Datenbankstandort zu übergeben, kann dies personalintensiv und anfällig für manuelle Dateneingabefehler sein.

Häufige Szenarien für den Import von Flat Files sind:

• Einlesen von CSV-Dateien zum Aktualisieren einer ERP-Lösung: Zum Beispiel die Weitergabe einer CSV-Datei zwischen Herstellern, Großhändlern und Einzelhandelspartnern für Flat File EDI (Electronic Data Interchange)
• Lesen von CSV-Dateien zur Aktualisierung eines CRM-Systems: Zum Beispiel die Weitergabe von CRM-Daten an eine Agentur für Kundenbindung

Das Flat File Import Tool von BPA Platforms kann die Leistung verbessern und den Zeitaufwand und die damit verbundenen Fehler einer manuellen Importroutine reduzieren, indem es die Werkzeuge zur dynamischen Transformation und Zuordnung von Daten nach Bedarf bereitstellt.

Was ist ein Flat File Import Tool?

Das Flat File Import Tool von BPA Platform wird als ein wertvolles Werkzeug angesehen, das in zahlreichen Szenarien der Geschäftsprozessautomatisierung eingesetzt werden kann. Es wird verwendet, um eine Datei mit Trennzeichen oder fester Breite von einem Datenträger zu importieren, den Dateiinhalt einschließlich der Dateieigenschaften zu extrahieren und dann entweder als Recordset oder als XML auszugeben. Es bietet Flat File Mapping-Funktionen und kann mehrere Flat Files in SQL Server, Oracle und andere relationale Datenbanken importieren.

Wenn Daten als CSV, Tabellenkalkulation oder als komplexere Flat File-Datenbank vorliegen, kann das Flat File Import Tool Daten extrahieren, um sie als Teil von umfassenderen Geschäftsprozessen, wie z.B. innerhalb von eCommerce oder Data Warehousing, zu verwenden.

Als Teil eines Prozesses mit anderen BPA Platform Tools kann das Flat File Import Tool verwendet werden, um Daten in eCommerce- und ERP-Systeme zu transformieren und abzubilden, und ist besonders nützlich für die anfängliche Synchronisation großer Datenmengen, wie z. B. Produkt- und Fertigungsdatenblätter.

Das Tool “Import Flat File” importiert Dateien mit Trennzeichen oder fester Breite von der Festplatte in BPA Platform, extrahiert den Inhalt der Datei, einschließlich aller Dateieigenschaften, und gibt ihn dann entweder als Recordset oder als XML aus. Die Spalten, aus denen das Recordset besteht, bzw. die Knoten und verschachtelten Elemente für die XML-Datei können entweder aus einem importierten Beispiel abgeleitet oder manuell erstellt werden. Die Datenvalidierung kann auch angewendet werden, um nur erforderliche Daten zu importieren.

Funktionen des Flat File Import Tools

Das Flat File Import Tool bietet die folgenden Funktionen:

• Flat File Mapping-Funktion
• Importieren mehrerer Flat Files in SQL Server, Oracle und andere relationale Datenbanken
• Manuelles Erstellen eines Schemas für die XML-Ausgabe, das aus Nodes und verschachtelten Elementen besteht
• Konfigurieren Sie die Eigenschaften der einzelnen Nodes und Elemente, um die zu extrahierenden Daten für jedes auszuwählen
• Vorschau der XML-Schemastruktur vor dem Speichern und Ausführen der Aufgabe
• Legen Sie die Eigenschaften der Quelldatei fest, die zur Laufzeit der Aufgabe extrahiert und für andere Schritte offengelegt werden sollen
• Durchsuchen und Auswählen einer Datei, die Spaltenüberschriften in der ersten Zeile enthält, um die Ausgabedaten zu strukturieren
• XML für die Verwendung durch andere Taskschritte ausgeben
• XML als String zur Verwendung durch andere Task-Schritte ausgeben
• Ausgabe eines Recordsets zur Verwendung durch andere Task-Schritte

Typische Anwendungen des Flat File Import Tools

Das Flat File Import Tool von BPA Platform entlastet die Mitarbeiter von der mühsamen Datenverarbeitung. Das Toolset von BPA Platform beseitigt die sich wiederholende Administration, verbessert die Unternehmensleistung und reduziert die Datenlatenz zwischen den Geschäftssystemen.

Lesen von CSV-Dateien zur automatischen Aktualisierung einer ERP-Lösung: Die Lagerverfügbarkeit ist eine gängige Geschäftsdatei, die zwischen einem Hersteller, Großhändler und Einzelhandelspartnern für Flat-File-EDI-Importe oder Produktkatalogaktualisierungen weitergegeben wird. Bei CSV-Dateien ist jedoch oft ein Mitarbeiter erforderlich, um die Daten zu verarbeiten und ein ERP-System zu aktualisieren. Dies ist sowohl zeitaufwändig als auch fehleranfällig.

Die BPA-Plattform von Codeless Platforms mit ihrer grafischen Drag-and-Drop-Benutzeroberfläche ermöglicht es Entwicklern, das Einlesen von Dateien zu automatisieren und ein ERP-System nach genauen Geschäftsregeln zu aktualisieren.

Lesen von CSV-Dateien zum automatischen Aktualisieren einer CRM-Lösung: Die Weitergabe von CRM-Datendateien zwischen Unternehmen ist ein weiterer alltäglicher Geschäftsprozess. So ist es zum Beispiel für große Unternehmen im Telekommunikationssektor üblich, eine Datei mit Kunden, die sich dem Ende ihres Vertrages nähern, an eine Kundenbindungsagentur weiterzugeben. Wie im obigen Beispiel kann dies jedoch einen hohen Aufwand an Dateneingabe verursachen und ist fehleranfällig.

Die BPA-Plattform von Codeless Platforms kann eine CSV-Datei mit CRM-Daten automatisch erfassen und lesen und Ihre interne CRM-Anwendung aktualisieren. Sie kann auch einen anschließenden Bericht über die behaltenen Kunden erstellen und diesen dynamisch an den ursprünglichen Datenlieferanten verteilen.

Lesen von CSV-Dateien, um andere Geschäftsprozesse auszulösen: Das Lesen einer CSV-Datei, unabhängig davon, ob sie dynamisch von einer FTP-Site, einer eingehenden E-Mail oder einem Netzwerkstandort abgerufen wird, stellt häufig den Anfang, die Mitte oder das Ende eines manuellen Mitarbeiterprozesses dar.

Die BPA-Plattform von Codeless Platforms kann eingesetzt werden, um Geschäftsdateien zu lesen und nachfolgende Geschäftsprozesse auf der Grundlage der Daten in der Datei zu automatisieren. So kann sie beispielsweise Produktpreisänderungen innerhalb einer Datei erkennen und einen Webshop dynamisch aktualisieren.

Tutorial: So importieren Sie eine flache Datei in den SQL Server mithilfe einer gespeicherten Prozedur

Im folgenden Beispiel verwenden wir das Flat File Import Tool von BPA Platforms, um eine flache Datei mittels einer Stored Procedure in den SQL Server zu importieren. Das Import-Tool wird Produktdaten im CSV-Format extrahieren und einen Entscheidungsschritt verwenden, um zu überprüfen, ob die Datei existiert. Anschließend zeigen wir Ihnen, wie Sie die Daten in unser gewünschtes Format transformieren, loopen und mappen, das XML in ein Recordset konvertieren und es mit einem Stored Procedure Tool an die SQL-Datenbank senden. Abschließend werden wir das Dateiverwaltungstool verwenden, um die verarbeitete Datei von “zur Verarbeitung anstehend” in einen verarbeiteten Ordner zu verschieben.

• CSV-Daten extrahieren
• Schleife und Mapping der CSV-Daten
• XML in ein Recordset konvertieren
• Senden der Daten an die SQL-Staging-Datenbank
• Verschieben der verarbeiteten Dateien mit dem Datei-Management-Tool

Um dieses Beispiel auszuführen, benötigen Sie eine Staging-Datenbank, eine konfigurierte Datenbankverbindung und eine gefüllte Flat File (CSV). Außerdem benötigen Sie BPA Platform mit den folgenden Werkzeugen:

• Import Flat File Tool
• Entscheidungs-Tool
• VB-Skript ausführen
• XML in Recordset konvertieren Werkzeug
• Stored-Procedure-Werkzeug aufrufen
• Datei-Management-Tool

Schritt 1: Einrichten des Dateispeichers

Richten Sie zwei Ordner auf dem Desktop ein. Nennen Sie den ersten “Awaiting Processing” und den zweiten “Products Processed”. Wir müssen unsere Produktlisten-CSV in den Ordner “Awaiting Processing” ziehen. Beachten Sie die Produkte und die Struktur in der Datei.

Der Ordner “Products Processed” ist der Ort, an den die Datei automatisch verschoben wird, wenn die Aufgabe ausgeführt wird.

Schritt 2: Flat File Tool importieren

Öffnen Sie die BPA-Plattform, navigieren Sie zu Ihrem Aufgabenordner und erstellen Sie eine neue Aufgabe. Nennen Sie sie “CSV ETL”. Klicken Sie auf die Registerkarte “Design”.

Wählen Sie Flachdatei importieren und ziehen Sie das Werkzeug auf den Entwurfsbereich.

Klicken Sie auf der Registerkarte “Allgemein” unter “Pfad” auf “Durchsuchen” und wählen Sie den Ordner “Awaiting Processing” aus. Wählen Sie unter Dateiname Typ die Datei oder den Typ “Produkte” und fügen Sie einen Platzhalter (“*”) hinzu, damit alle inkrementierten oder datierten Versionen erfasst werden können. Fügen Sie am Ende “.CSV” hinzu.

Stellen Sie sicher, dass auf der Registerkarte Main / File die Option XML ausgewählt ist, da diese für den nächsten Schritt der Aufgabe benötigt wird. Geben Sie in Root Node Name “root” ein.

Wählen Sie Header Row in File und klicken Sie dann auf Browse. Wir werden eine Beispiel-CSV-Datei verwenden, die BPA Platform zur Konfiguration der Ausgabestruktur nutzen wird. Suchen Sie unsere Produkt-CSV-Datei und klicken Sie auf “Öffnen”.

Die Datei, die wir verwenden, ist kommagetrennt mit einer standardmäßigen Wagenrücklauf-Zeilenvorschub-Endmarkierung. Stellen Sie sicher, dass diese Optionen ausgewählt sind.

Auf der Registerkarte Elemente/Spalten sehen wir die Datenstruktur. Damit können Sie die Werte der einzelnen Knoten und Elemente ändern. Ändern Sie Neuen Knoten auf Produkte. Hier können Sie den Datentyp und andere Elementeigenschaften festlegen.

Klicken Sie auf Ausgabevorschau und dann auf OK.

Als Nächstes setzen wir auf der Registerkarte Optionen alle Optionen auf Weiter, um die Verarbeitung aller verfügbaren Dateien zu ermöglichen.

Klicken Sie auf OK, um diesen Schritt abzuschließen.

Schritt 3: Daten transformieren

Jetzt werden die Daten so transformiert, dass die CSV-Eingabe mit der erwarteten Ausgabe übereinstimmt.

Ziehen Sie einen Schritt “Transform Data” aus dem Browser und wählen Sie auf der Registerkarte “General” unter “Data Source” die Option “Use a Recordset or XML From Another Step” und wählen Sie “OutputXML from Import Flat File”.

Klicken Sie auf der Registerkarte Main auf Replicate Structure From Input Data Source. Wir sehen die Ausgabestruktur der XML. Ändern Sie den Ausgabenamen von CSV_SKU_Code in ERP_SKU_Code.

OK, gehen wir zur Registerkarte Mapping. Erweitern Sie die Bäume auf beiden Seiten und hier sehen wir das Input-XML auf der linken Seite und das Output-XML auf der rechten Seite. Ziehen Sie nun den Knoten Produkte auf Produkte. BPA Platform bietet an dieser Stelle an, Child Nodes automatisch zu mappen. Klicken Sie auf Ja.

Beachten Sie das einfache Schleifensymbol, das zwischen den beiden erscheint. Dadurch wird sichergestellt, dass der Schritt in einer Schleife durch alle Produkte in der CSV-Datei läuft.

Der CSV_SKU_Code muss manuell auf ERP_SKU_CODE abgebildet werden, da wir die Ein- und Ausgabe hierauf umstellen wollten.

Klicken Sie auf OK.

Schritt 4: Der Entscheidungsschritt

Als Teil der guten Praxis und um unnötige Verarbeitung zu reduzieren, werden wir einen Entscheidungsschritt einfügen. Wir werden diesen so einrichten, dass die Aufgabe beendet wird, wenn keine Dateien gefunden werden, indem wir mit einem leeren VBScript-Ausführungsschritt fortfahren.

Ziehen Sie nun einen Schritt “Run VBScript” hinein und nennen Sie ihn END Task und klicken Sie auf OK. Als nächstes verknüpfen Sie diese Schritte miteinander.

Öffnen Sie den Schritt Entscheidung und klicken Sie auf den Zweig Daten transformieren und dann auf Bearbeiten. Benennen Sie ihn: “Datei existiert”.

Klicken Sie auf die Registerkarte “Script” und löschen Sie das Wort “true”. Klappen Sie in der Registerkarte Umgebung des Browsers mit dem auf Aufgabe eingestellten Bereich den Baum “Flat File importieren” herunter und ziehen Sie SuccessCount in das Skriptfenster.

Geben Sie am Ende “> 0” ein. Damit wird die Logik so eingestellt, dass dieser Weg genommen wird, wenn eine Datei existiert. Klicken Sie nun auf Speichern und schließen.

Klicken Sie nun auf den Endzweig und klicken Sie auf Bearbeiten. Benennen Sie ihn: “Keine Datei”. Wählen Sie auf der Registerkarte Skript die Option “Sonst”.

Klicken Sie jetzt auf “Speichern und schließen” für den Zweig und “Speichern und schließen” für den Schritt.

Schritt 5: XML in Recordset konvertieren

Ziehen Sie als Nächstes einen Schritt “XML in Recordset konvertieren” ein, um die Ausgabe an das gewünschte Format anzupassen.

Wir können direkt zur Hauptregisterkarte gehen und sicherstellen, dass die Datenquelle auf Aufgabenschritt eingestellt ist. In der Dropdown-Liste klicken Sie auf Output XML From Transform Data.

In der Output Recordset-Konfiguration klicken Sie in Select Fields auf All und dann auf OK. Klicken Sie im Warndialog auf Ja, da unsere Anforderungen innerhalb der sicheren Grenzen liegen.

Schritt 6: Senden der Daten an die Staging-Datenbank mit der Stored Procedure

Wir müssen nun die Daten an die Staging-Datenbank übergeben. Ziehen Sie einen Stored Procedure OLEDB-Schritt hinein. Ändern Sie auf der Registerkarte “Allgemein” den Namen in “Send to Staging DB”. Stellen Sie dann sicher, dass Use a Recordset ausgewählt ist. Stellen Sie sicher, dass in der Dropdown-Liste “Results From Convert XML to Recordset” ausgewählt ist.

Stellen Sie auf der Registerkarte “Main” Ihre Datenbankverbindung auf die vorkonfigurierte Verbindung ein, navigieren Sie zu der gewünschten Prozedur und wählen Sie SP_Product_Upsert. Klicken Sie auf OK.

Auf der linken Seite sehen Sie die Parameter innerhalb der Staging-Datenbank. Wir werden die Felder zuweisen, die wir übertragen wollen, indem wir die Datensatzquellen aus dem Browser ziehen. Ziehen wir nun einige Felder hinein, um die Datenbank zu füllen.

Zusätzlich zu den von Ihnen gewählten Feldern müssen Sie TC_SyncStatus mit einem Wert von “ready” setzen, indem Sie dies manuell eingeben.

Und Allow_Insert mit einem Wert von 1 zulassen. Klicken Sie auf OK, um den Schritt zu schließen.

Schritt 7: Dateiverwaltungswerkzeug

Der letzte Schritt verschiebt die verarbeitete CSV-Datei aus dem Ordner “Awaiting Processing” in den Ordner “Products Processed”.

Ziehen wir einen Dateiverwaltungsschritt hinein. Nennen Sie ihn auf der Registerkarte “Allgemein” “Verarbeitete Dateien verschieben”. Navigieren Sie zum Dateiquellpfad der CSV-Datei, d. h. zum Ordner “Awaiting Processing”, den wir zuvor erstellt haben. Suchen Sie unter Dateiname nach der Datei, oder geben Sie den Namen der CSV-Datei ein und fügen Sie dem Dateinamen einen Platzhalter hinzu, falls er erhöht oder datiert werden soll. Fügen Sie am Ende .csv hinzu.

Auf der Hauptregisterkarte können wir dieses Tool zum Kopieren, Umbenennen, Löschen oder Hochladen verwenden. Stellen Sie für unsere Zwecke sicher, dass die Option Verschieben ausgewählt ist.

Legen Sie den Zielpfad fest, indem Sie zum Ordner “Products Processed” wechseln, den wir zuvor erstellt haben. Die anderen Einstellungen belassen wir auf ihren Standardwerten.

Klicken Sie auf OK und speichern und schließen Sie die Aufgabe.

Schritt 8: Testen Sie die Aufgabe

Der letzte Schritt besteht darin, die restlichen Schritte zu verknüpfen. Klicken Sie auf Speichern und Schließen.

In einem realen Szenario könnte diese Datei z. B. per FTP oder über ein Netzwerk hinzugefügt werden.

Unsere Aufgabe könnte mit einem Zeitplanschritt eingerichtet werden, der in regelmäßigen Abständen ausgeführt wird, aber zu Demonstrationszwecken führen wir sie aus, indem wir mit der rechten Maustaste klicken und Jetzt in die Warteschlange stellen wählen.

Wenn die Aufgabe abgeschlossen ist, sehen Sie sich die Ordner auf dem Desktop an. Wir können sehen, dass die Datei in den Ordner “Products Processed” verschoben wurde.

Im Microsoft SQL Server Management Studio können wir in der Tabelle Produkte sehen, dass der Inhalt der CSV-Datei übertragen wurde.

In diesem Beispiel werden die Konzepte und Techniken der BPA-Plattform vorgestellt.

Flat Files importieren nächste Schritte

BPA Platform bietet Ihnen die Möglichkeit, mehrere Flat Files schnell und einfach in SQL Server, Oracle und viele andere führende relationale Datenbanken zu importieren. Wenn Sie mehr darüber erfahren möchten, wie Sie mit BPA Platform Ihre Geschäftsprozesse automatisieren können, oder wenn Sie mehr über das Tool “Import Flat File” erfahren möchten, laden Sie die BPA Platform-Broschüre herunter.