Data Engineer [Alternance]

Compétences visées

Les compétences sont listées sur le site de France Compétences 

sous l'enregistrement n°RNCP37638

Nous les avons traduites en s'inspirant de la méthode FALC ici : 

1 - Piloter la conduite d’un projet data

• Analyser les besoins :

Comprendre ce que l'organisation veut faire avec les données.

Parler avec les personnes concernées pour savoir ce qui est important.

Décider des meilleures options techniques pour le projet.

• Cartographier les données :

Identifier les données disponibles, d'où elles viennent, comment elles sont utilisées et leurs caractéristiques.

Cela aide à confirmer les choix techniques pour le projet.

• Concevoir le cadre technique :

Créer un plan pour utiliser les données.

Prendre en compte les contraintes techniques, les ressources disponibles, et les règles de protection des données (RGPD).

Penser aussi à l'impact environnemental.

• Faire une veille technique et réglementaire :

Se tenir informé des dernières nouveautés et des lois.

Cela aide à proposer des solutions à jour pour le projet.

• Planifier le projet :

Organiser les étapes du projet, définir les moyens nécessaires et les méthodes de suivi.

• Superviser le projet :

S'assurer que tout le monde sait quoi faire et que les outils sont bien utilisés.

Communiquer et coordonner avec l'équipe pour réussir le projet.

• Communiquer sur le projet :

Informer les parties prenantes des avancées et des résultats du projet.

Utiliser des supports de communication adaptés.

2 - Collecte, stockage et mise à disposition des données

• Automatiser l'extraction de données :

Programmer des scripts pour collecter des données depuis différentes sources (web, fichiers, bases de données).

• Développer des requêtes SQL :

Utiliser le langage SQL pour extraire les données nécessaires des systèmes de gestion de bases de données.

• Agrégation des données :

Créer des règles pour combiner des données provenant de différentes sources, en nettoyant et en harmonisant les formats.

• Créer une base de données :

Concevoir des modèles de données et les importer, tout en respectant les règles du RGPD.

• Partager les données :

Configurer des interfaces pour que d'autres puissent accéder aux données nécessaires au projet.

3 - Élaborer et maintenir un entrepôt de données (data warehouse)

• Modéliser la structure des données :

Organiser les données pour faciliter les analyses.

• Créer un entrepôt de données :

Construire l'entrepôt en tenant compte des besoins du projet et des contraintes techniques.

• Intégrer les ETL (extraction, transformation et chargement) :

Assurer la qualité des données entrantes et sortantes.

• Gérer l'entrepôt de données :

Utiliser des outils pour gérer les accès et les mises à jour, en respectant le RGPD.

• Implémenter des variations :

Ajuster l'entrepôt de données en fonction des changements dans l'activité de l'organisation.

4 - Encadrer la collecte massive et la mise à disposition des données avec un data lake

• Concevoir l'architecture du data lake :

Choisir les technologies en fonction du volume, de la diversité et de la vitesse des données.

• Intégrer les composants du data lake :

S'assurer que le système peut collecter, stocker et rendre disponibles les données.

• Gérer le catalogue des données :

Organiser et suivre les données en tenant compte de leur source et de leur durée de vie, en respectant le RGPD.

• Implémenter les règles de gouvernance des données :

Sécuriser et contrôler l'accès aux données pour protéger la confidentialité et respecter les politiques de l'organisation.