SSIS tutorial giver grundlæggende og avancerede koncepter for SQL Server Integration Services. Vores SSIS tutorial er designet til begyndere og professionelle.

SQL Server Integration Service er et hurtigt og fleksibelt datavarehusværktøj, der bruges til dataudtræk, transformation og dataindlæsning. Det gør det nemt at indlæse data fra en database til en anden database såsom SQL Server, Oracle, Excel-fil osv.

I denne tutorial vil vi diskutere følgende emner:

• Hvad er SSIS
• Hvad er dataintegration
• Hvorfor SSIS
• Sådan fungerer SSIS
• Krav til SQL Server Integration Service
• Hvad er SSIS-pakken
• SSIS opgaver
• Eksempel på dataflowopgave
• Eksempel på Execute SQL Task

Hvad er SSIS?

• SSIS står for SQL Server Integration Services.
• Det er en komponent, der er tilgængelig i Microsoft SQL Server-databasesoftwaren, der bruges til at udføre en lang række integrationsopgaver.
• Det er et data warehousing værktøj, der bruges til dataudtræk, indlæsning af data i en anden database, transformationer såsom rengøring, aggregering, fletning af data osv.
• SSIS-værktøjet indeholder også grafiske værktøjer og workflow-funktioner til vinduesguider, såsom afsendelse af e-mail-beskeder, ftp-operationer, datakilder.
• SSIS bruges til at udføre en lang række transformations- og integrationsopgaver. Som helhed bruges SSIS-værktøjet til datamigrering.

SSIS er et værktøj, der hovedsageligt bruges til at udføre to funktioner:

Dataintegration
SSIS udfører dataintegration ved at kombinere data fra flere kilder og giver samlet data til brugerne.Workflow
Workflow kan bruges til at udføre flere ting. Nogle gange er vi nødt til at udføre nogle specifikke trin eller en bestemt sti, som enten er baseret på tidsperioden eller parameteren, der sendes til pakken eller de data, der forespørges fra databasen. Det kan bruges til at automatisere vedligeholdelsen af ​​SQL Server-databaser og giver opdateringen til de multidimensionelle analytiske data.

Hvad er dataintegration?

Dataintegration er en proces, som du følger for at integrere data fra flere kilder. Dataene kan enten være heterogene data eller homogene data. Dataene kan være strukturerede, semistrukturerede eller ustrukturerede. I dataintegration integreres data fra forskellige uens datakilder for at danne nogle meningsfulde data.

Nogle metoder bruges til at opnå dataintegration:

Datamodellering:I datamodellering skal du først oprette datamodellen og udføre operationer på den.Dataprofilering:Dataprofilering er en proces, der bruges til at kontrollere fejl, inkonsistens eller variationer i de tilgængelige data. Dataprofilering sikrer datakvaliteten, hvor datakvaliteten refererer til dataens nøjagtighed, konsistens og fuldstændighed.

Fordele ved dataintegration:

Reducer datakompleksitet
Det reducerer datakompleksiteten, hvilket betyder, at dataene kan leveres til ethvert system. Dataintegration bevarer kompleksiteten, strømlinede forbindelser og gør det nemt at levere dataene til ethvert system.Dataintegritet
Dataintegritet spiller en stor rolle i dataintegration. Det beskæftiger sig med rensning og validering af data. Alle ønsker høj kvalitet og robuste data, så for at opnå dette bruges dataintegrationskonceptet. Dataintegration er nyttig til at fjerne fejl, inkonsekvens og duplikering.Nemt datasamarbejde
Tilgængelighed hører under datasamarbejde. Tilgængelighed betyder, at data nemt kan transformeres, og folk kan nemt integrere dataene i projekter, dele deres resultater og holde dataene opdaterede.Smartere forretningsbeslutninger
Det giver dig også mulighed for at træffe smartere beslutninger. En integreret data refererer til overførselsprocessen i en virksomhed, så vi lettere kan forstå informationen. En integreret data er meget nemmere og informativ.

Hvorfor SSIS?

SSIS bruges af følgende årsager:

Data kan indlæses parallelt til mange forskellige destinationer
SSIS bruges til at kombinere data fra flere datakilder for at generere en enkelt struktur i en samlet visning. Grundlæggende er det ansvarligt for at indsamle dataene, udtrække dataene fra flere datakilder og fusionere til en enkelt datakilde.Fjerner behovet for hard core programmører
SSSIS er en platform, der har evnen til at indlæse en stor mængde data fra Excel til en SQL Server-database.Integration med andre produkter
SSSIS-værktøj giver tæt integration med andre produkter fra Microsoft.Billigere end andre ETL-værktøjer
SSSIS-værktøjet er billigere end de fleste andre værktøjer. Det kan modstå med andre basisprodukter, deres håndterbarhed, business intelligence osv.Kompleks fejlhåndtering inden for dataflows
SSSIS giver dig mulighed for at håndtere den komplekse fejl i et dataflow. Du kan starte og stoppe dataflowet baseret på fejlens alvor. Du kan endda sende en e-mail til admin, når der opstår en fejl. Når en fejl er løst, kan du vælge stien mellem arbejdsgangen.

Hvordan fungerer SSIS?

Vi ved, at SSIS er en platform for to funktioner, nemlig dataintegration og workflow. Både opgaverne Datatransformationer og workflow-oprettelse udføres ved at bruge SSIS-pakken. SSIS-pakken består af tre komponenter:

Driftsdata

Operationelle data er en database, der bruges til at integrere data fra flere datakilder for at udføre yderligere operationer på dataene. Det er stedet, hvor dataene er gemt til aktuel drift, før de sendes til datavarehuset til lagring, rapportering eller arkivering.

fremad kæde

ETL

• ETL er den vigtigste proces i SSIS-værktøjet. ETL bruges til at udtrække, transformere og indlæse dataene i et datavarehus.
• ETL er en proces, der er ansvarlig for at trække dataene ud af flere datakilder, transformere dataene til nyttige data og derefter gemme dataene i et datavarehus. Dataene kan være i et hvilket som helst format xml-fil, flad fil eller enhver databasefil.
• Det sikrer også, at de data, der er lagret i datavarehuset, er relevante, nøjagtige, af høj kvalitet og nyttige for erhvervsbrugerne.
• Det kan nemt tilgås, så datavarehuset kan bruges effektivt og effektivt.
• Det hjælper også organisationen med at træffe datadrevne beslutninger ved at hente de strukturerede og ustrukturerede data fra flere datakilder.

En ETL er et treordsbegreb, men det er opdelt i fire faser:

Fange: Capture fase er også kendt som Extract phase. I denne fase vælger den kildedata eller metadata, og dataene kan være i ethvert format, såsom xml-fil, flad fil eller enhver databasefil.

Skrubbe: I denne fase kontrolleres de originale data. Den kontrollerer dataene, uanset om de består af fejl eller ej. Den kontrollerer for fejl eller inkonsistens i data ved at bruge nogle kunstig intelligens-teknikker. Kort sagt verificerer det, om produktets kvalitet er opfyldt eller ej.

Transformer: Det er den tredje fase i ETL. Transformation er den proces, hvor det originale format konverteres til et påkrævet format, som du ønsker. Transformation er modellering eller ændring af data i overensstemmelse med brugernes krav. Ændringerne kan enten være ændringer i antallet af kolonner eller rækker.

Indlæs og indeks: Den fjerde fase er Load og indeks. Den indlæser dataene og validerer antallet af rækker, der er blevet behandlet. Når indlæsningen af ​​data er afsluttet, bruges indekseringen. Indeksering hjælper dig med at spore antallet af rækker, der er indlæst i datavarehuset. Indeksering hjælper også med at identificere dataene, uanset om de er i det rigtige format eller ej.

Data varehus

Data warehouse er et enkelt, komplet og konsistent lager af data, som er formuleret ved at kombinere data fra flere datakilder.

Forskellen mellem Database og Data warehouse

Svaret kan være både ja og nej. Både databasen og datavarehuset har en stor enhed af data og lignende fysisk repræsentation, men responstiden for komplekse forespørgsler i Data warehouse er hurtigere end databasen.

Krav til SQL Server Integration Services

Følgende er kravene for at installere SQL Server Integration Services:

• Installer SQL Server
• Installer SQL Server Data Tools

Følg nedenstående trin for at installere SQL Server Data-værktøjerne:

Trin 1: Klik på linket https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 for at downloade SQL Server-dataværktøjerne.

Trin 2: Når du klikker på ovenstående link, vises skærmen nedenfor:

I ovenstående skærmbillede skal du vælge den version af SSDT, du vil installere.

Trin 3: Når overførslen er fuldført, skal du køre den downloadede fil. Når du kører den downloadede fil, vises skærmen, som er vist nedenfor:

Trin 4: Klik på knappen Næste.

Trin 5: Vælg den visuelle studio-instans og de værktøjer, du vil installere i Visual Studio 2017.

Trin 6: Klik på Installere knap.

Hvad er SSIS-pakken?

Pakken er en grundlæggende blok, hvor du koder i SSIS. Her betyder kode ikke, at du koder i et eller andet programmeringssprog; det betyder den udvikling, du laver. Udviklingen sker i SSIS-pakken. SSIS bruges hovedsageligt til ETL-processen, og ETL-processen udføres inde i SSIS-pakken.

SSIS-pakken består af tre dele:

Forbindelser
SSIS-pakken vil have nogle forbindelser, og disse forbindelser bruges til at oprette forbindelse til forskellige datakilder.Styre flow elementer
SSIS-pakken er sammensat af to elementer, dvs. kontrolflowelementer og dataflowelementer. Kontrolflowelementer håndterer arbejdsgange. Workflow betyder, at vi udfører nogle opgaver i trin, så sekvensen sker gennem kontrolflow.Dataflowelementer
Dataflowelementerne udfører transformationer.

SSIS opgaver

I SSIS-pakken kan vi tilføje opgaverne. En opgave er en arbejdsenhed, og vi vil have forskellige typer opgaver til at udføre forskellige former for arbejde. Der er forskellige typer opgaver, men vi vil diskutere de mest almindelige opgaver, der bruges i SSIS:

Udfør SQL-opgave
Det bruges til at udføre SQL-sætningerne mod en relationsdatabase.Dataflow-opgave
Det bruges hovedsageligt til at læse data fra en eller flere datakilder, transformere dataene og kan også indlæse dataene til en eller flere destinationer.Analyse Services Behandlingsopgave
Det bruges til at behandle objekter af en SSAS-terning eller tabelmodel.Udfør pakkeopgave
Denne opgave bruges til at kalde de andre pakker inden for samme projekt. Du kan endda videregive variabelværdierne til den kaldte pakke.Udfør procesopgave
Det giver dig mulighed for at køre et program eller batchscripts som en SQL Server Integration Services. Den kan bruges til at åbne standardapplikationen såsom Microsoft Excel, Microsoft Word osv. Den bruges også til at udpakke den komprimerede fil.Filsystemopgave
Det kan bruges til at udføre manipulationerne i filsystemet, såsom at flytte filer, slette filer, omdøbe filerne, ændre mappen osv.FTP opgaver
IFTP-opgaver bruges til at udføre handlingerne på filer og mapper. For eksempel, hvis du ønsker at sende eller modtage filen fra FTP-serveren til den lokale mappe, så bruges SSIS FTP-opgaven.Script opgave
Denne opgave giver dig mulighed for at skrive den .Net-kode, du vil udføre.Send mailopgave
Denne opgave bruges til at sende en e-mail. Det bruges hovedsageligt, når du vil give brugerne besked om status for opgaven, om den er i kørende tilstand, eller der er opstået en fejl.

Lad os se et eksempel på en dataintegrationstjeneste.

Eksempel på dataflowopgave

Trin 1: Først opretter vi en excel-fil i Microsoft Excel. Antag, at jeg opretter elevdatabasen i Microsoft Excel, og felter i elevtabellen er elev_id, elev_navn, karakterer og køn.

Trin 2: Åbn det visuelle studie (SQL Server Data Tools).

Trin 3: Klik på indstillingen Fil og flyt derefter til Nyt-> Projekt.

Trin 4: Når du klikker på projektet, vises skærmen, som er vist som nedenfor:

I ovenstående skærmbillede skal du klikke på integrationstjenesterne, der vises længst til venstre i panelet, og derefter klikke på integrationstjenesteprojektet.

Trin 5: Efter at have klikket på Integrationsserviceprojektet mulighed, vises skærmen vist som nedenfor:

Ovenstående skærm består af fem faner såsom Kontrolflow, Dataflow, Parameters, Event Handler og Package Explorer. Vi har allerede diskuteret kontrolflowet og dataflowet, både kontrolflowet og dataflowet findes inde i SSIS-pakken.

trin 6: For at importere dataene skal vi først oprette den database, hvori vi opretter tabellen i SQL Server-databasen. Da vi ved, er elevdata tilgængelig inde i Excel-filen, og vi ønsker at importere dataene i SQL Server-databasen. For at opnå dette skal vi først oprette tabellen i SQL Server. Åbn SQL Server Management-studiet.

Trin 7: Opret studerende database. Højreklik på databasen, og klik derefter på Ny database mulighed.

Trin 8: Indtast databasenavnet i nedenstående skærmbillede:

Jeg har givet Studenterlageret som databasenavn.

Trin 9: Klik på Okay knap.

python rstrip

Trin 10: Nu opretter vi tabellen i en Studenterlager database. Højreklik på tabellerne, og klik derefter på den nye tabel.

Trin 11: Nu tilføjer vi felterne i en tabel, såsom elev_id, elev_navn, karakterer og køn. Vi indstiller student_id som en primær nøgle, der unikt identificerer hver række.

Ovenstående skærm viser, at vi tilføjer fire felter i en tabel. Efter at have tilføjet alle felterne i en tabel, gemmer vi tabellen ved at give et brugbart navn. Antag, at jeg har angivet eleven som et tabelnavn.

Trin 12: Flyt tilbage til det visuelle studie. Kontrolflow indeholder Dataflow-opgaven, træk og slip Dataflow-opgaven i hovedvinduet.

Trin 13: Når vi dobbeltklikker på Data Flow-opgaven, flytter kontrollen automatisk til Data Flow fra Control Flow, så vi kan sige, at Control Flow er en beholder af Data Flow.

Trin 14: Nu kan vi udføre transformationerne i Data Flow. Vi ønsker at udtrække dataene fra Excel-fil, som vi oprettede tidligere, så træk og slip Excel-kilden fra de andre kilder, der vises længst til venstre i panelet.

Fra ovenstående skærm ser vi, at det røde kryds vises inde i Excel-kilden, det betyder, at komponenten er konfigureret med Excel-kilden.

Trin 15: For at konfigurere komponenten skal du højreklikke på Excel-kilden og klikke på Rediger som vist på nedenstående skærmbillede:

Trin 16: Udfyld detaljerne vist i nedenstående skærmbillede:

Trin 17: Efter at have indtastet alle detaljerne, vises skærmen vist som nedenfor:

Trin 18: Klik på Excel-kilden.

Ovenstående skærm viser to pile, rød og blå pil. Den blå pil definerer de faktiske data, som vi modtager fra Excel-filen, og den røde pil angiver de fejl, vi har. Nu skal vi udføre transformationerne, og før vi udfører transformationerne, skal vi indlæse databasen.

Trin 19: For at indlæse databasen skal du klikke på Andre destinationer og derefter klikke på destinationen.

Trin 20: Når du har tilføjet destinationen, skal du tilslutte kilden til destinationen.

Trin 21: I ovenstående trin bemærkede vi det røde kryds i ADO NET Destination, hvilket betyder, at det ikke er konfigureret med en komponent. Højreklik på ADO NET-destinationen, og klik derefter på Rediger-indstillingen som vist på nedenstående skærmbillede:

Trin 22: Du skal angive konfigurationsmanageren.

Trin 23: Klik på Ny knappen for at tilføje forbindelsesadministratoren. Når du klikker på Ny knappen, vises skærmen vist nedenfor:

Trin 24: Tilføj servernavnet, og vælg databasenavnet fra SQL-serveren.

Trin 25: Klik på knappen OK.

Trin 26: Tilføj det tabelnavn, som du vil indlæse dataene i.

Trin 27: På nedenstående skærmbillede skal du kortlægge inputkildens felt til destinationskildens felt.

typer af maskinlæring

Trin 28: Efter tilføjelse af en kortlægning er kilden forbundet til destinationen, som vist på nedenstående skærmbillede:

Trin 29: Klik på Start knappen for at køre Integration Services Project. Når du kører projektet, bliver dataene indlæst til destinationen, dvs. SQL Server .

Eksempel på Execute SQL Task

• Følg trinene fra trin 2 til trin 5 i det foregående eksempel.
• Træk og slip Udfør SQL-opgave vises i panelet længst til venstre i hovedvinduet.

På ovenstående skærm ser vi, at det røde kryds vises i Execute SQL Task, hvilket betyder, at Forbindelsesadministrator er ikke konfigureret med Udfør SQL-opgave . For at konfigurere det skal vi tilføje Connection Manager.

• For at tilføje Connection Manager skal du højreklikke på Connection Manager og derefter klikke på New Connection Manager som vist på nedenstående skærmbillede:

• Vælg OLEDB som en Connection Manager-type, og klik derefter på Tilføje knap som vist på nedenstående skærmbillede:

• Efter at have klikket på Tilføje knappen, vises skærmen vist på nedenstående skærmbillede:

I ovenstående skærm, observerer vi, at dataforbindelsen af Studenterlager databasen er allerede tilgængelig, som vi oprettede i det forrige trin. Klik på Okay knap.

• Når du klikker på OK-knappen, vises skærmen som vist nedenfor:

I ovenstående skærmbillede skal du indtaste detaljerne såsom navnet på din opgave, beskrivelse, SQL-sætning (SQL-opgave, som du skal udføre på bordet).

• Jeg indtastede følgende detaljer i ovenstående skærmbillede:

I ovenstående tilfælde har jeg givet kommandoen insert i SQLStatement.

• Klik på Okay knap.
• Når du konfigurerer komponenten med Execute SQL Task, forsvinder det røde kryds som vist på nedenstående skærmbillede:

• Kør projektet ved at klikke på Start .

• Når du klikker på Start , vises skærmen vist som nedenfor:

I ovenstående skærmbillede viser fluebenet, at din SQL-opgave er blevet fuldført. Insert-sætningen, som vi tilføjede i de foregående trin, er blevet udført, og dataene tilføjes i tabel. dvs. studerende 1.

• Output af denne opgave er vist nedenfor

Forudsætning

Før du lærer SSIS, skal du have det grundlæggende kendskab til SQL Server.

Publikum

Vores SSIS tutorial er designet til at hjælpe begyndere og professionelle.

Problem

Vi forsikrer, at du ikke vil finde noget problem i denne SSIS-tutorial. Men hvis der er en fejl eller fejl, bedes du skrive fejlen i kontaktformularen.