Le didacticiel SSIS fournit des concepts de base et avancés de SQL Server Integration Services. Notre tutoriel SSIS est conçu pour les débutants et les professionnels.
Service d'intégration SQL Server est un outil d'entreposage de données rapide et flexible utilisé pour l'extraction, la transformation et le chargement de données. Il facilite le chargement des données d'une base de données vers une autre base de données telle que SQL Server, Oracle, fichier Excel, etc.
Dans ce tutoriel, nous aborderons les sujets suivants :
- Qu'est-ce que SSIS
- Qu'est-ce que l'intégration de données
- Pourquoi SSIS
- Comment fonctionne SSIS
- Configuration requise pour le service d'intégration SQL Server
- Qu'est-ce que le package SSIS
- Tâches SSIS
- Exemple de tâche de flux de données
- Exemple de tâche d'exécution SQL
Qu’est-ce que SSIS ?
- SSIS signifie SQL Server Integration Services.
- Il s'agit d'un composant disponible dans le logiciel de base de données Microsoft SQL Server utilisé pour effectuer un large éventail de tâches d'intégration.
- Il s'agit d'un outil d'entreposage de données utilisé pour l'extraction de données, le chargement des données dans une autre base de données, des transformations telles que le nettoyage, l'agrégation, la fusion de données, etc.
- L'outil SSIS contient également les outils graphiques et les fonctions de flux de travail des assistants de fenêtre telles que l'envoi de messages électroniques, les opérations FTP et les sources de données.
- SSIS est utilisé pour effectuer un large éventail de tâches de transformation et d'intégration. Dans son ensemble, l'outil SSIS est utilisé dans la migration des données.
SSIS est un outil principalement utilisé pour réaliser deux fonctionnalités :
SSIS effectue l'intégration des données en combinant les données provenant de plusieurs sources et fournit des données unifiées aux utilisateurs.
Le workflow peut être utilisé pour effectuer plusieurs choses. Parfois, nous devons exécuter certaines étapes spécifiques ou un chemin particulier qui est basé soit sur la période de temps, soit sur le paramètre transmis au package, soit sur les données interrogées dans la base de données. Il peut être utilisé pour automatiser la maintenance des bases de données SQL Server et assure la mise à jour des données analytiques multidimensionnelles.
Qu’est-ce que l’intégration de données ?
L'intégration de données est un processus que vous suivez pour intégrer les données provenant de plusieurs sources. Les données peuvent être soit des données hétérogènes, soit des données homogènes. Les données peuvent être structurées, semi-structurées ou non structurées. Dans l'intégration de données, les données provenant de différentes sources de données différentes s'intègrent pour former des données significatives.
Certaines méthodes sont utilisées pour réaliser l’intégration des données :
Avantages de l'intégration des données :
Cela réduit la complexité des données, ce qui signifie que les données peuvent être transmises à n'importe quel système. L'intégration de données maintient la complexité, rationalise les connexions et facilite la fourniture des données à n'importe quel système.
L'intégrité des données joue un rôle majeur dans l'intégration des données. Il s’agit du nettoyage et de la validation des données. Tout le monde veut des données robustes et de haute qualité, c'est pourquoi pour réaliser ce concept d'intégration de données est utilisé. L'intégration des données est utile pour éliminer les erreurs, les incohérences et les duplications.
L’accessibilité relève de la collaboration sur les données. L'accessibilité signifie que les données peuvent être facilement transformées et que les utilisateurs peuvent facilement intégrer les données dans des projets, partager leurs résultats et maintenir les données à jour.
Cela vous permet également de prendre des décisions plus judicieuses. Une donnée intégrée fait référence au processus de transmission au sein d'une entreprise afin que nous puissions comprendre plus facilement les informations. Une donnée intégrée est beaucoup plus simple et informative.
Pourquoi SSIS ?
SSIS est utilisé pour les raisons suivantes :
SSIS est utilisé pour combiner les données de plusieurs sources de données pour générer une structure unique dans une vue unifiée. Fondamentalement, il est responsable de la collecte des données, de l’extraction des données de plusieurs sources de données et de leur fusion en une seule source de données.
SSSIS est une plate-forme capable de charger une grande quantité de données d'Excel vers une base de données SQL Server.
L'outil SSSIS offre une intégration étroite avec d'autres produits de Microsoft.
L'outil SSSIS est moins cher que la plupart des autres outils. Il peut résister aux autres produits de base, à leur gérabilité, à leur business intelligence, etc.
SSSIS vous permet de gérer l'erreur complexe au sein d'un flux de données. Vous pouvez démarrer et arrêter le flux de données en fonction de la gravité de l'erreur. Vous pouvez même envoyer un e-mail à l'administrateur lorsqu'une erreur se produit. Lorsqu'une erreur est résolue, vous pouvez choisir le chemin entre les flux de travail.
Comment fonctionne SSIS ?
Nous savons que SSIS est une plate-forme pour deux fonctions, à savoir l'intégration de données et le flux de travail. Les tâches de transformation des données et de création de flux de travail sont réalisées à l'aide du package SSIS. Le package SSIS se compose de trois composants :
Donnée opérationnelle
Les données opérationnelles sont une base de données utilisée pour intégrer les données de plusieurs sources de données afin d'effectuer des opérations supplémentaires sur les données. C'est l'endroit où les données sont hébergées pour l'exploitation en cours avant d'être envoyées à l'entrepôt de données pour stockage, reporting ou archivage.
topologie en étoile
ETL
- ETL est le processus le plus important de l'outil SSIS. ETL est utilisé pour extraire, transformer et charger les données dans un entrepôt de données.
- ETL est un processus chargé d'extraire les données de plusieurs sources de données, de transformer les données en données utiles, puis de stocker les données dans un entrepôt de données. Les données peuvent être dans n'importe quel format de fichier XML, fichier plat ou n'importe quel fichier de base de données.
- Cela garantit également que les données stockées dans l'entrepôt de données sont pertinentes, précises, de haute qualité et utiles aux utilisateurs professionnels.
- Il est facilement accessible afin que l'entrepôt de données puisse être utilisé de manière efficace et efficiente.
- Il aide également l'organisation à prendre des décisions basées sur les données en récupérant les données structurées et non structurées à partir de plusieurs sources de données.
Un ETL est un concept en trois mots, mais il est divisé en quatre phases :
Capturer: La phase de capture est également appelée phase d'extraction. Dans cette phase, il sélectionne les données sources ou les métadonnées, et les données peuvent être dans n'importe quel format tel qu'un fichier XML, un fichier plat ou n'importe quel fichier de base de données.
Frotter: Dans cette phase, les données originales sont vérifiées. Il vérifie les données, si elles contiennent des erreurs ou non. Il vérifie les erreurs ou les incohérences des données en utilisant certaines techniques d'intelligence artificielle. Bref, il vérifie si la qualité du produit est respectée ou non.
Transformer: Il s'agit de la troisième phase d'ETL. La transformation est le processus dans lequel le format d'origine est converti dans un format requis que vous souhaitez. La transformation consiste à modéliser ou à modifier les données en fonction des besoins de l'utilisateur. Les modifications peuvent concerner soit le nombre de colonnes, soit le nombre de lignes.
Chargement et index : La quatrième phase est le chargement et l'indexation. Il charge les données et valide le nombre de lignes qui ont été traitées. Une fois le chargement des données terminé, l'indexation est utilisée. L'indexation vous aide à suivre le nombre de lignes chargées dans l'entrepôt de données. L'indexation permet également d'identifier les données, qu'elles soient au bon format ou non.
Entrepôt de données
L'entrepôt de données est un magasin de données unique, complet et cohérent formulé en combinant les données de plusieurs sources de données.
Différence entre la base de données et l'entrepôt de données
La réponse peut être oui ou non. La base de données et l'entrepôt de données disposent tous deux d'une grande unité de données et d'une représentation physique similaire, mais le temps de réponse des requêtes complexes dans l'entrepôt de données est plus rapide que dans la base de données.
Configuration requise pour les services d'intégration SQL Server
Voici les conditions requises pour installer les services d'intégration SQL Server :
- Installer le serveur SQL
- Installer les outils de données SQL Server
Suivez les étapes ci-dessous pour installer les outils de données SQL Server :
Étape 1: Clique sur le lien https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 pour télécharger les outils de données SQL Server.
Étape 2: Lorsque vous cliquez sur le lien ci-dessus, l'écran ci-dessous apparaît :
Dans l'écran ci-dessus, sélectionnez la version de SSDT que vous souhaitez installer.
Étape 3: Une fois le téléchargement terminé, exécutez le fichier téléchargé. Lorsque vous exécutez le fichier téléchargé, l'écran apparaît ci-dessous :
Étape 4: Cliquez sur le bouton Suivant.
Étape 5 : Sélectionnez l'instance de Visual Studio et les outils que vous souhaitez installer dans Visual Studio 2017.
Étape 6 : Clique sur le Installer bouton.
Qu'est-ce que le forfait SSIS ?
Le package est un bloc fondamental dans lequel vous codez en SSIS. Ici, code ne signifie pas que vous codez dans un langage de programmation ; cela signifie le développement que vous faites. Le développement se fait dans le package SSIS. SSIS est principalement utilisé pour le processus ETL, et le processus ETL est effectué dans le package SSIS.
Le package SSIS est composé de trois parties :
Le package SSIS aura certaines connexions, et ces connexions sont utilisées pour se connecter à diverses sources de données.
Le package SSIS est composé de deux éléments, à savoir des éléments de flux de contrôle et des éléments de flux de données. Les éléments de flux de contrôle gèrent les flux de travail. Le flux de travail signifie que nous effectuons certaines tâches par étapes, la séquence se fait donc via un flux de contrôle.
Les éléments du flux de données effectuent des transformations.
Tâches SSIS
Dans le package SSIS, nous pouvons ajouter les tâches. Une tâche est une unité de travail et nous aurons différents types de tâches pour effectuer différents types de travail. Il existe différents types de tâches, mais nous aborderons les tâches les plus couramment utilisées dans SSIS :
Il est utilisé pour exécuter les instructions SQL sur une base de données relationnelle.
Il est principalement utilisé pour lire les données d'une ou plusieurs sources de données, transformer les données et peut également charger les données vers une ou plusieurs destinations.
Il est utilisé pour traiter les objets d'un cube SSAS ou d'un modèle tabulaire.
Cette tâche permet d'appeler les autres packages au sein du même projet. Vous pouvez même transmettre les valeurs des variables au package appelé.
Il vous permet d'exécuter une application ou des scripts batch en tant que SQL Server Integration Services. Il peut être utilisé pour ouvrir l'application standard telle que Microsoft Excel, Microsoft Word, etc. Il est également utilisé pour décompresser le fichier compressé.
Il peut être utilisé pour effectuer des manipulations dans le système de fichiers telles que déplacer des fichiers, supprimer des fichiers, renommer les fichiers, modifier le répertoire, etc.
Les tâches IFTP sont utilisées pour effectuer les opérations sur les fichiers et les dossiers. Par exemple, si vous souhaitez envoyer ou recevoir le fichier du serveur FTP vers le répertoire local, la tâche FTP SSIS est utilisée.
Cette tâche vous permet d'écrire le code .Net que vous souhaitez exécuter.
Cette tâche permet d'envoyer un email. Il est principalement utilisé lorsque vous souhaitez informer les utilisateurs de l'état de la tâche, qu'elle soit en cours d'exécution ou qu'une erreur se soit produite.
Voyons quelques exemples fonctionnels d'un service d'intégration de données.
Exemple de tâche de flux de données
Étape 1: Tout d’abord, nous créons un fichier Excel dans Microsoft Excel. Supposons que je crée la base de données des étudiants dans Microsoft Excel et que les champs de la table des étudiants sont student_id, student_name, notes et sexe.
Étape 2: Ouvrez le studio visuel (SQL Server Data Tools).
Étape 3: Cliquez sur l'option Fichier, puis passez à Nouveau-> Projet.
Étape 4: Lorsque vous cliquez sur le projet, l'écran apparaît, qui se présente comme ci-dessous :
la vérification Java est nulle
Dans l'écran ci-dessus, cliquez sur Integration Services apparaissant à l'extrême gauche du panneau, puis cliquez sur le projet Integration Services.
Étape 5 : Après avoir cliqué sur le projet de services d'intégration option, l'écran apparaît comme ci-dessous :
L'écran ci-dessus se compose de cinq onglets tels que Flux de contrôle, Flux de données, Paramètres, Gestionnaire d'événements et Explorateur de packages. Nous avons déjà discuté du flux de contrôle et du flux de données, le flux de contrôle et le flux de données existent tous deux dans le package SSIS.
étape 6 : Pour importer les données, nous devons d'abord créer la base de données dans laquelle nous créons la table dans la base de données SQL Server. Comme nous savons que les données des étudiants sont disponibles dans le fichier Excel et que nous souhaitons importer les données dans la base de données SQL Server. Pour y parvenir, nous devons d’abord créer la table dans SQL Server. Ouvrez le studio de gestion SQL Server.
Étape 7 : Créer le étudiant base de données. Faites un clic droit sur la base de données, puis cliquez sur l'icône Nouvelle base de données option.
Étape 8 : Entrez le nom de la base de données dans la capture d'écran ci-dessous :
J'ai donné StudentWarehouse comme nom de base de données.
Étape 9 : Clique sur le D'ACCORD bouton.
Étape 10 : Maintenant, nous créons la table dans un ÉtudiantEntrepôt base de données. Faites un clic droit sur les tables, puis cliquez sur la nouvelle table.
Étape 11 : Nous ajoutons maintenant les champs dans un tableau tels que student_id, student_name, notes et sexe. Nous définissons le student_id comme clé primaire qui identifie de manière unique chaque ligne.
L'écran ci-dessus montre que nous ajoutons quatre champs dans un tableau. Après avoir ajouté tous les champs d'une table, nous sauvegardons la table en fournissant un nom utile. Supposons que j'aie fourni l'étudiant comme nom de table.
Étape 12 : Revenez au studio visuel. Le flux de contrôle contient la tâche de flux de données, faites glisser et déposez la tâche de flux de données sur la fenêtre principale.
Étape 13 : Lorsque nous double-cliquons sur la tâche de flux de données, le contrôle se déplace automatiquement vers le flux de données à partir du flux de contrôle, nous pouvons donc dire que Control Flow est un conteneur de flux de données.
Étape 14 : Nous pouvons désormais effectuer les transformations dans Data Flow. Nous souhaitons extraire les données du fichier Excel que nous avons créé précédemment, alors faites glisser et déposez la source Excel à partir des autres sources apparaissant à l'extrême gauche du panneau.
Depuis l'écran ci-dessus, nous observons que la croix rouge apparaît à l'intérieur de la Source Excel, cela signifie que le composant est configuré avec la Source Excel.
Étape 15 : Pour configurer le composant, faites un clic droit sur la source Excel et cliquez sur l'option Modifier comme indiqué dans la capture d'écran ci-dessous :
Étape 16 : Remplissez les détails affichés dans la capture d'écran ci-dessous :
Étape 17 : Après avoir saisi tous les détails, l'écran apparaît comme ci-dessous :
Étape 18 : Cliquez sur la source Excel.
L'écran ci-dessus montre deux flèches, une flèche rouge et une flèche bleue. La flèche bleue définit les données réelles que nous recevons du fichier Excel et la flèche rouge indique les erreurs que nous avons. Nous devons maintenant effectuer les transformations, et avant d'effectuer les transformations, nous devons charger la base de données.
Étape 19 : Pour charger la base de données, cliquez sur Autres destinations puis cliquez sur Destination.
Étape 20 : Après avoir ajouté la destination, connectez la source à la destination.
Étape 21 : Dans l'étape ci-dessus, nous avons remarqué la croix rouge dans ADO NET Destination, ce qui signifie qu'il n'est pas configuré avec un composant. Cliquez avec le bouton droit sur la destination ADO NET, puis cliquez sur l'option Modifier comme indiqué dans la capture d'écran ci-dessous :
Étape 22 : Vous devez spécifier le gestionnaire de configuration.
Étape 23 : Clique sur le Nouveau bouton pour ajouter le gestionnaire de connexion. Lorsque vous cliquez sur le Nouveau l'écran ci-dessous apparaît :
Étape 24 : Ajoutez le nom du serveur et sélectionnez le nom de la base de données dans SQL Server.
Étape 25 : Cliquez sur le bouton OK.
Étape 26 : Ajoutez le nom de la table dans laquelle vous souhaitez charger les données.
Étape 27 : Dans l'écran ci-dessous, mappez le champ de la source d'entrée au champ de la source de destination.
définir un ordinateur
Étape 28 : Après avoir ajouté un mappage, la source est connectée à la destination, comme indiqué dans la capture d'écran ci-dessous :
Étape 29 : Clique sur le Commencer pour exécuter le projet Integration Services. Lorsque vous exécutez le projet, les données sont chargées vers la destination, c'est-à-dire serveur SQL .
Exemple de tâche d'exécution SQL
- Suivez les étapes de l’étape 2 à l’étape 5 de l’exemple précédent.
- Faites glisser et déposez le Exécuter la tâche SQL apparaissant dans le panneau le plus à gauche de la fenêtre principale.
Dans l'écran ci-dessus, nous observons que la croix rouge apparaît dans la tâche d'exécution SQL, ce qui signifie que la Gestionnaire de connexion n'est pas configuré avec le Exécuter la tâche SQL . Pour le configurer, nous devons ajouter le Connection Manager.
- Pour ajouter le gestionnaire de connexion, cliquez avec le bouton droit sur le gestionnaire de connexion, puis cliquez sur le nouveau gestionnaire de connexion, comme indiqué dans la capture d'écran ci-dessous :
- Sélectionnez le OLEDB en tant que type Connection Manager, puis cliquez sur le Ajouter comme indiqué dans la capture d'écran ci-dessous :
- Après avoir cliqué sur le Ajouter bouton, l'écran apparaît comme illustré dans la capture d'écran ci-dessous :
Dans l'écran ci-dessus, nous observons que la connexion de données de ÉtudiantEntrepôt La base de données est déjà disponible telle que nous l'avons créée à l'étape précédente. Clique sur le D'ACCORD bouton.
- Lorsque vous cliquez sur le bouton OK, l'écran apparaît comme ci-dessous :
Dans l'écran ci-dessus, vous devez saisir les détails tels que le nom de votre tâche, la description, l'instruction SQL (tâche SQL que vous devez effectuer sur la table).
- J'ai entré les détails suivants dans la capture d'écran ci-dessus :
Dans le cas ci-dessus, j'ai fourni la commande insert dans SQLStatement.
- Clique sur le D'ACCORD bouton.
- Lorsque vous configurez le composant avec la tâche d'exécution SQL, la croix rouge disparaît comme indiqué dans la capture d'écran ci-dessous :
- Exécutez le projet en cliquant sur le Commencer .
- Lorsque vous cliquez sur le Commencer , l'écran apparaît comme ci-dessous :
Dans l'écran ci-dessus, la coche indique que votre tâche SQL a été terminée avec succès. L'instruction d'insertion que nous avons ajoutée lors des étapes précédentes a été exécutée et les données sont ajoutées dans le tableau. c'est-à-dire, étudiant1.
- Le résultat de cette tâche est présenté ci-dessous
Prérequis
Avant d'apprendre SSIS, vous devez avoir les connaissances de base de SQL Server.
Public
Notre tutoriel SSIS est conçu pour aider les débutants et les professionnels.
Problème
Nous vous assurons que vous ne rencontrerez aucun problème dans ce tutoriel SSIS. Mais s'il y a une erreur ou une erreur, veuillez poster l'erreur dans le formulaire de contact.