Delta verladingen zonder ECC? Het kan met HANA SDI!

Een van de beste toepassingen tussen SAP BW en SAP ECC, is de mogelijkheid om data te laden via de delta-modus. Deze functionaliteit is een groot gemis indien een niet SAP bronsysteem wordt aangesloten. Door het niet aanwezig zijn van een Delta queue, moet er gebruik gemaakt worden van full loads om de data binnen te halen. Een schatting die SAP onlangs zelf deed is dat 80% van de verladingen in full gebeuren! Dat kan beter.

Als er in de brontabel een veld bestaat dat de datum van wijzigingen bijhoudt (bijvoorbeeld “change date”) of een aanmaak datum (“creation date”) kan, met behulp van bijvoorbeeld ABAP, een delta-verlading worden gecreëerd. Dit wist u ongetwijfeld, maar wist u dat Smart Data Integration (SDI) deze functionaliteit ook heeft, zonder het schrijven van custom code? De Hoe, leggen we graag uit in deze blog!

Smart Data Integration stelt ons via een stuk SAP software (de DP Agent) in staat om op eenvoudige wijze connectie te maken met diverse bronsystemen. SAP levert “out-of-the-box” diverse connectoren die direct kunnen worden gebruikt. Mocht er onverhoopt de gewenste adapter niet aanwezig zijn, dan kan worden uitgeweken naar de meer generieke adapters, zoals bijvoorbeeld de OData adapter.

Het aanmaken van de datasource en het instellen van de delta mogelijkheid

Als eerste moet de gewenste connectie in de DP Agent aangemaakt worden in HANA. Vervolgens is het mogelijk om in SAP BW datasources te maken “binnen” het nieuwe bronsysteem, uiteraard via de BW modelling tools in Eclipse. Binnen de instellingen van de datasource, is waar de delta-verlading kan worden ingericht, zei het enigszins verborgen in de opties.

In het tabblad “Extraction” wordt allereerst de optie “Delta Process” aangeboden. Standaard staat hier de optie “Delta Only via Full Upload (DSO or InfoPackage Selection) aan, maar voor onze delta-verlading kiezen we er voor om gebruik te maken van de optie “Delta with Delta Images”.

De standaard setting.

De setting die we nodig hebben voor delta verladingen.

Zodra we deze optie selecteren valt onmiddellijk op dat “Delta Properties” oplicht en hier gaan we onze delta daadwerkelijk inrichten.

Delta properties

Onder Delta Properties zijn er een drietal instellingen die gemaakt moeten worden:

De diverse instellingen onder de Delta Properties.

De diverse instellingen hebben bepaalde eisen aan de input, deze zijn na te gaan tijdens het “checken” van de datasource.

De techniek achter de delta extraction, het uitvoeren van de Data Transfer Proces

Wanneer de instellingen goed staan en de datasource is geactiveerd kunnen we een Data Transfer Proces (DTP) component maken, die automatisch wordt ingesteld op “Delta”. De eerste keer dat deze DTP wordt uitgevoerd vuurt SDI zelfstandig een SQL statement af richting de bron, met daarin een WHERE statement met daarin “de datum begin der tijden” tot vandaag. De volgende keer dat we de DTP uitvoeren zien we dat het WHERE statement gebruik maakt van de offset die we hebben opgegeven en daarmee wordt automatisch de dataset die we laden ingeperkt, c.q. onze delta werkt!

Wat als de bron een directe delta niet ondersteunt?

Het kan voorkomen dat de bron een directe delta niet ondersteunt. Dit is bijvoorbeeld het geval wanneer de bronapplicatie niet in staat is om een bepaald filter in een bepaald data formaat te verwerken. In dat geval kan Smart Data Integration, mits de driver richting het bronsysteem dit ondersteunt, ervoor kiezen om de filtering “In Memory” binnen SAP HANA uit te voeren op het “Partitioning” veld dat is aangemerkt in de datasource. Op deze manier kan er toch een delta worden gegenereerd door SDI.

Zoals u heeft gelezen, hebben zelfs de nieuwe extractie mechanismes de mogelijkheid om een (pseudo) delta te genereren. Een “killer feature”, die we nog vaak zullen gebruiken bij onze projecten, bij u, onze klant!

Bedankt voor het lezen!

Tim.