hatembenjaballah/Talend-modeles-dynamiques-DB

Nous prévoyons de développer des modèles dynamiques en utilisant un schéma dynamique pour transférer des données de manière fluide de leur source vers leur destination. De plus, nous envisageons la possibilité de rendre le type de base de données dynamique.

Talend modèles dynamiques DB

Objectifs

Job de chargement dynamique des données d'une base source à une base destination

Outils et Versions

• Talend Open Studio for ESB Version 8.0.1
• Java Version 11
• Dbeaver Version 23.1.0
• MySQL Version 5.1.30
• MariaDB Version 11.0
• SQLite DB : db/Chinook.db

Description

Nous prévoyons de développer des modèles dynamiques en utilisant un schéma dynamique pour transférer des données de manière fluide de leur source vers leur destination. De plus, nous envisageons la possibilité de rendre le type de base de données dynamique.

Composants

Composants	Configuration
Configuration du composant tDBInput_1
Configuration du composant tDBOutput_1

Construction du Job

Teste:

Nous allons testé la fonctionnalité de ce job en deux etapes 1. transférer des données de la Table source Invoice(SQLite) vers la Table cible Invoice (MySQL) 2. transférer des données de la Table source Invoice(MySQL) vers la Table cible Invoice (MariaDB)

Etape 1 :

Table source Invoice(SQLite) => Table cible Invoice (MySQL)

1. Creation de la table cible (MySQL)

CREATE TABLE Invoice
(
	id INTEGER  NOT NULL,
	date DATETIME  NOT NULL,
	address NVARCHAR(210),
	total NUMERIC(10,2)  NOT NULL,
	CONSTRAINT PK_Invoice PRIMARY KEY  (InvoiceId)
);

2. Creation d'un fichier properties dans le repertoir du job générer ../job_chargement_donnee_0.1/job_chargement_donnee/projet/job_chargement_donnee_0_1/contexts/ConfigSqlliteToMysqlInvoice.properties

3. Modifier le script ../job_chargement_donnee_0.1/job_chargement_donnee/job_chargement_donnee_run.bat remplacer le contenu avec cette commande : (Exemple)

java -Xms256M -Xmx1024M -cp .;../lib/*;job_chargement_donnee_0_1.jar; projet.job_chargement_donnee_0_1.job_chargement_donnee --context=ConfigSqlliteToMysqlInvoice %*

4. Lancer le job avec l'invite commande :

job_chargement_donnee_run.bat

NB : Assurer vous que les libs

• sqlite-jdbc-3.40.0.0.jar
• mysql-connector-java-5.1.49.jar

Existe dans le repertoir ../job_chargement_donnee_0.1/lib

5. Verification du resultat

Etape 2 : on va changer de configuration (type de base de donnée)

Table source Invoice(MySQL) => Table cible Invoice (MariaDB)

1. Creation de la table cible (MariaDB)

CREATE TABLE Invoice
(
	InvoiceYears INT  NOT NULL,
	BillingCountry NVARCHAR(40),
	Total NUMERIC(10,2)  NOT NULL
);

2. Creation d'un fichier properties dans le repertoir du job générer ../job_chargement_donnee_0.1/job_chargement_donnee/projet/job_chargement_donnee_0_1/contexts/ConfigMysqlToMariaDbInvoice.properties

3. Modifier le script ../job_chargement_donnee_0.1/job_chargement_donnee/job_chargement_donnee_run.bat remplacer le contenu avec cette commande : (Exemple)

java -Xms256M -Xmx1024M -cp .;../lib/*;job_chargement_donnee_0_1.jar; projet.job_chargement_donnee_0_1.job_chargement_donnee --context=ConfigMysqlToMariaDbInvoice %*

4. Lancer le job avec l'invite commande :

job_chargement_donnee_run.bat

NB : Assurer vous que les libs

• mariadb-java-client-3.1.4.jar
• mysql-connector-java-5.1.49.jar

Existe dans le repertoir ../job_chargement_donnee_0.1/lib

5. Verification du resultat