Big Data Senior Developer

Dans un monde où les sources de données sont en constante évolution, Devoteam Data Driven aide ses clients à transformer leurs données en informations exploitables et les rendre ainsi impactantes pour plus de valeur business.
Data Driven adresse les 3 grandes dimensions suivantes : Data Strategy, Data for Business et Data Foundation en appui d'expertise chez ses clients pour les rendre encore plus performants et compétitifs au quotidien.
Au sein des équipes Nearshore de Devoteam Maroc, tu rejoindras les équipes de la tribu Data Foundation : une équipe enthousiaste de Data Engineers, de Data Ops, de Tech lead architectes et de chefs de projets travaillant sur les plateformes et l'écosystème Data : designer, construire et moderniser les plateformes et solutions Data, concevoir les data pipelines en mettant l'accent sur l'agilité et le DevOps appliqué à la Data.
Tu seras le maillon essentiel pour fournir les données fiables et valorisées aux métiers leur permettant de créer leurs nouveaux produits et services et tu appuieras aussi les équipes Data Science en leur fournissant les environnements de données "datalab" nécessaires pour mener à bien leurs démarches exploratoires dans l'élaboration et l'industrialisation de leurs modèles, à savoir :
Concevoir, développer et maintenir des pipelines de données efficaces pour extraire, transformer et charger les données de différentes sources vers des systèmes de stockage de données de type Lakehouse (datalake, datawarehouse)Écrire du code Scala, souvent associé à Apache Spark pour ses fonctionnalités concises et expressives, afin de réaliser des transformations complexes sur de grands volumes de donnéesS'appuyer sur les fonctionnalités offertes par Apache Spark, telles que les transformations et les actions distribuées, pour traiter les données à grande échelle de manière rapide et efficaceIdentifier et résoudre les problèmes de performance dans les pipelines de données, en optimisant les requêtes Spark, en ajustant la configuration de Spark et en mettant en œuvre les meilleures pratiques.Collaborer avec d'autres équipes pour intégrer les pipelines de données avec des bases de données SQL, noSQL, du streaming Kafka, des systèmes de fichiers de type buckets …Si besoin, concevoir et mettre en œuvre des pipelines de traitement des données en temps réel en utilisant les fonctionnalités de streaming de SparkMettre en œuvre les mécanismes de sécurité pour protéger les données sensibles en utilisant les fonctionnalités d'authentification, d'autorisation RBAC/ABAC, de chiffrement, d'anonymisation des donnéesDocumenter le code, les pipelines de données, les schémas de données et les décisions de conception pour assurer leur compréhension et maintenabilitéMettre en place les tests unitaires et d'intégration pour assurer la qualité du code et déboguer les problèmes éventuels dans les pipelines de donnéesTu donneras ta pleine mesure par la maîtrise de tes fondamentaux techniques, ta connaissance sur le bout des doigts des données que tu traites et que tu manipules et surtout en affirmant ta volonté à comprendre les besoins et le métier pour lequel tu travailleras.
Ton terrain de jeu : la distribution, l'énergie, la finance, l'industrie, la santé et les transports avec plein de cas d'usage et de nouveaux défis Data à relever ensemble notamment la Data dans le Cloud.
Ce qu'on attend de toi. Que tu aies foi dans la DataQue tu aides ton collègueQue tu sois gentil avec tes RHsQue tu t'éclates dans ta missionEt que les Codingame ne te fassent pas peur (tu ne seras pas seul : on t'aidera)Et plus sérieusement :
Que tu maîtrises les fondamentaux de la Data : les technologies Hadoop, Spark, les data pipelines : l'ingestion, le traitement, la valorisation et l'exposition des donnéesQue tu souhaites t'investir sur les nouveaux paradigmes de la Data : Cloud, DaaS, SaaS, DataOps, AutoML et que tu t'engages à nos côtés dans cette aventureQue tu réalises des pipelines data performantsQue tu entretiennes cette double compétence Dev & InfraQue tu sois proche des métiers, que tu les accompagnes dans la définition de leurs besoins, leurs nouveaux produits & services : dans des ateliers, en définissant les user stories et en éprouvant au travers de POCEt coder est ta passion : tu travailles ton code, tu commit en Open Source, tu fais un peu de compétition alors rejoins nousCe qu'on t'apportera. Un manager à tes côtés en toute circonstanceUne communauté Data où tu y trouveras ta place : Ideation Lab, Hackathon, Meetup ...Un parcours de formation et de certification via "myDevoteam Academy" sur les technologies du moment et à venir : Databricks, Spark, Azure Data, Elastic.io, Kafka, Snowflake, GCP BigQuery, dbt, Ansible, Docker, k8s …Un renfort de ton expertise dans le domaine de la Data pour devenir un Tech Lead Cloud (Azure, AWS, GCP …), un architecte des futures plateformes Data, un expert DataOps au service des métiers (Data as a Service) et de la Data Science (AutoML), un Data Office Manager en pilotage des projets Data Product, bref plein de nouveaux jobs en perspective …La possibilité de t'investir personnellement : être formateur interne, leader de communauté, participer aux entretiens candidats, aider à développer nos offres et pourquoi pas manager ta propre équipe ...Quelques exemples de missions. La conception, la mise en place et le support des pipelines dataLe déploiement de solutions data dans une démarche Agile et DevOpsLe développement d'API REST pour exposer les donnéesLe support et l'expertise sur les technologies Data et les solutions déployées : Hadoop, Spark, Kafka, Elasticsearch, Snowflake, BigQuery, Azure, AWS ...Ce stage vise à créer un site e-commerce moderne, en se focalisant sur une architecture de microservices, le développement d'API back-end, et l'implémentation d'une plateforme d'intégration continue et de data automation. Le projet inclura la conception, le développement et la mise en œuvre d'une plateforme de vente en ligne en utilisant les dernières technologies web, avec une intégration de l'intelligence artificielle pour une expérience utilisateur optimisée. Une attention particulière sera portée à la modularité, la scalabilité, et l'intégration automatisée des données et des processus.
Vous interviendrez sur un ou plusieurs des objectifs du stage listés ci-dessous, en collaboration avec d'autres stagiaires :
1. Conception d'Architecture de Microservices : Développer une architecture basée sur des microservices pour une scalabilité et une maintenance optimales.
2. Développement d'API Back-end : Créer des API RESTful ou GraphQL pour une communication efficace entre les microservices et l'interface utilisateur.
3. Intégration de l'IA pour la Personnalisation : Implémenter des algorithmes de machine learning pour des recommandations personnalisées et une assistance client intelligente.
4. Développement d'une Interface Utilisateur Moderne : Utiliser des frameworks front-end avancés pour une expérience utilisateur engageante et réactive.
5. Mise en Place de la Data Automation : Mettre en place une plateforme de data automation (iPaas) pour traiter les processus d'échange.
6. Sécurité et Protection des Données : Assurer la sécurité des informations et des transactions.
7. Intégration de Systèmes de Paiement : Incorporer des méthodes de paiement diversifiées et sécurisées.
8. SEO et Stratégies de Marketing Digital : Optimiser le site pour les moteurs de recherche et élaborer des campagnes de marketing numérique.
9. Analytique Web et Retours Utilisateurs : Mettre en place des outils pour suivre les performances et analyser l'expérience des utilisateurs.
L'équipe lilloise n'attend que toi pour relever de nouveaux défis. Ensemble nous accompagnerons nos clients dans la transformation de leur projet.
Tes missions si tu l'acceptes : Accompagner les grands comptes dans leur projet de mise en place de projets Data avec GCP, AWS ou tout autre système Big data.
Analyser les besoins clients :Animer des ateliers
Préconiser des architectures cibles
Rédiger des dossiers d'architecture et spécifications techniques
Définir les méthodologies de déploiement et plans de migration
Construire les architectures de données :Concevoir et mettre en place des systèmes de données résilients et sécurisés
Construire et déployer les pipelines de données (ETL)Assurer la migration des données vers les nouveaux environnements
Analyser les données :Analyser les données sources afin d'identifier et évaluer des cas d'usage métier
Mettre en oeuvre des outils de Business Intelligence et visualisation (Looker, Tableau, QlikView, DataStudio…)
Sélectionner, entraîner, évaluer et déployer des modèles prédictifs en s'appuyant sur les outils standards du domaine (TensorFlow, Keras, Scikit Learn)
Assurer une veille technologique continue sur les solutions cloud
Accompagner et former les équipes clients aux méthodes et concepts du cloud
Garance et son équipe n'attendent que vous pour relever de nouveaux défis autour de l'écosystème Data!
Ensemble vous accompagnerez nos clients dans la transformation de leur Système d'information et la mise en place de solutions BIG DATA.
Pour nos clients, la transformation digitale induit une modification profonde des processus métier, poussée par le développement des nouvelles technologies. Ce changement de modèle à plusieurs objectifs : accroître l'efficacité, optimiser les coûts et créer de nouveaux produits et services innovants pour les clients.
Notre offre data se décompose en deux offres distinctes: une offre orientée Data Foundation en amont de la pipeline data et une offre Data for Business qui se positionne sur l'analyse de données au profit du métier.
Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Banque, Assurances, Énergie), nous vous proposons d'intégrer une équipe d'ingénieurs expérimentés et multi-compétences.
En fonction de vos compétences, les missions que vous serez amené(e) à réaliser peuvent concerner:
La collecte et la manipulation des données
L'études statistiques et analytiques
La création de dashboards
La mise en place de KPIs et de reporting
La mise en place de process/requêtes et automatisation
La production d'analyses métiers et de recommandations
La gestion ou le développement d'outils d'aide à la décision
Selon le profil, quelques tâches de data science (ML, IA, etc.)
Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d'évaluation personnel régulier.
Nous recherchons un(e) Consultant(e) Junior Cloud Native passionné(e) et dynamique pour rejoindre notre équipe de professionnels chevronnés. Si vous êtes prêt à plonger dans le monde palpitant du Cloud Native, nous avons l'opportunité parfaite pour vous. Le/la candidat(e) retenu(e) sera formé(e) pour naviguer, conseiller et mettre en œuvre des projets dans un environnement Cloud Native, notamment dans des domaines tels que les infrastructures hybrides, les microservices et les plateformes événementielles.
Responsabilités:
Collaborer étroitement avec nos consultants seniors pour concevoir et déployer des solutions Cloud Native pour répondre aux besoins uniques de nos clients.Jouer un rôle clé dans la migration des applications de nos clients vers des environnements Cloud Native.Concevoir et développer des architectures de microservices robustes et évolutives.Travailler en symbiose avec les équipes de développement pour garantir une intégration harmonieuse des solutions Cloud Native.Soutenir les consultants seniors dans la résolution de problèmes complexes d'infrastructure et d'applications en environnement Cloud Native.Contribuer à la formation des équipes de développement et des clients sur les meilleures pratiques du Cloud Native.Au sein de la direction « Plateforme Data », le consultant intégrera une équipe SCRUM et se concentrera sur un périmètre fonctionnel spécifique.
Son rôle consistera à contribuer à des projets data en apportant son expertise sur les tâches suivantes:
Participer à la réalisation de l'ensemble des projets métiers (usages)Prendre en charge les demandes de corrections provenant d'incidents ou d'anomaliesParticiper à l'auto-formation et à la montée en compétences de l'équipe de développementAppliquer les bonnes pratiques et les normes de développementMettre en pratique les méthodes « devops »Contribuer aux chiffrages des usages et à la constitution des releasesContribuer à l'automatisation du deliveryDévelopper et documenter son codeTravailler au sein d'une équipe SCRUM (PO, développeurs, QA, Support)Dans un monde où les sources de données sont en constante évolution, Devoteam Data Driven aide ses clients à transformer leurs données en informations exploitables et les rendre ainsi impactantes pour plus de valeur business.
Data Driven adresse les 3 grandes dimensions suivantes : Data Strategy, Data for Business et Data Foundation en appui d'expertise chez ses clients pour les rendre encore plus performants et compétitifs au quotidien.
Au sein des équipes Nearshore de Devoteam Maroc, tu rejoindras les équipes de la tribu Data Foundation : une équipe enthousiaste de Data Engineers, de Data Ops, de Tech lead architectes et de chefs de projets travaillant sur les plateformes et l'écosystème Data : designer, construire et moderniser les plateformes et solutions Data, concevoir les data pipelines en mettant l'accent sur l'agilité et le DevOps appliqué à la Data.
Tu seras le maillon essentiel pour fournir les données fiables et valorisées aux métiers leur permettant de créer leurs nouveaux produits et services et tu appuieras aussi les équipes Data Science en leur fournissant les environnements de données "datalab" nécessaires pour mener à bien leurs démarches exploratoires dans l'élaboration et l'industrialisation de leurs modèles, à savoir :
Concevoir, développer et maintenir des pipelines de données efficaces pour extraire, transformer et charger les données de différentes sources vers des systèmes de stockage de données de type Lakehouse (datalake, datawarehouse)Maitriser SQL (DDL et DML) afin de définir les modèles de données et réaliser les extractions, les chargements et les transformations sur les donnéesS'appuyer sur les fonctionnalités offertes par les plateformes de données Cloud pour traiter les données à grande échelle de manière rapide et efficaceIdentifier et résoudre les problèmes de performance dans les pipelines de données, en optimisant les requêtes SQL, en ajustant la configuration des ressources et en mettant en œuvre les meilleures pratiques.Collaborer avec d'autres équipes pour intégrer les pipelines de données avec des bases de données SQL, noSQL, du streaming Kafka, des systèmes de fichiers de type buckets …Si besoin, concevoir et mettre en œuvre des pipelines de traitement des données en temps réel en utilisant les fonctionnalités de streaming des plateformes de données CloudMettre en œuvre les mécanismes de sécurité pour protéger les données sensibles en utilisant les fonctionnalités d'authentification, d'autorisation RBAC/ABAC, de chiffrement, d'anonymisation des donnéesDocumenter le code, les pipelines de données, les schémas de données et les décisions de conception pour assurer leur compréhension et maintenabilitéMettre en place les tests unitaires et d'intégration pour assurer la qualité du code et déboguer les problèmes éventuels dans les pipelines de donnéesTu donneras ta pleine mesure par la maîtrise de tes fondamentaux techniques, ta connaissance sur le bout des doigts des données que tu traites et que tu manipules et surtout en affirmant ta volonté à comprendre les besoins et le métier pour lequel tu travailleras.
Ton terrain de jeu : la distribution, l'énergie, la finance, l'industrie, la santé et les transports avec plein de cas d'usage et de nouveaux défis Data à relever ensemble notamment la Data dans le Cloud.
Ce qu'on attend de toi. Que tu aies foi dans la DataQue tu aides ton collègueQue tu sois gentil avec tes RHsQue tu t'éclates dans ta missionEt que les Codingame ne te fassent pas peur (tu ne seras pas seul : on t'aidera)Et plus sérieusement :
Que tu maîtrises les fondamentaux de la Data : SQL et les data pipelines : l'ingestion, le traitement, la valorisation et l'exposition des donnéesQue tu souhaites t'investir sur les nouveaux paradigmes de la Data : Cloud, DaaS, SaaS, DataOps, AutoML et que tu t'engages à nos côtés dans cette aventureQue tu réalises des pipelines data performantsQue tu entretiennes cette double compétence Dev & InfraQue tu sois proche des métiers, que tu les accompagnes dans la définition de leurs besoins, leurs nouveaux produits & services : dans des ateliers, en définissant les user stories et en éprouvant au travers de POCEt coder est ta passion : tu travailles ton code, tu commit en Open Source, tu fais un peu de compétition alors rejoins nousCe qu'on t'apportera. Un manager à tes côtés en toute circonstanceUne communauté Data où tu y trouveras ta place : Ideation Lab, Hackathon, Meetup ...Un parcours de formation et de certification via "myDevoteam Academy" sur les technologies du moment et à venir : Snowflake, GCP BigQuery, dbt, Databricks, Spark, Azure Data, Elastic.io, Kafka, Ansible, Docker, k8s …Un renfort de ton expertise dans le domaine de la Data pour devenir un Tech Lead Cloud (Azure, AWS, GCP …), un architecte des futures plateformes Data, un expert DataOps au service des métiers (Data as a Service) et de la Data Science (AutoML), un Data Office Manager en pilotage des projets Data Product, bref plein de nouveaux jobs en perspective …La possibilité de t'investir personnellement : être formateur interne, leader de communauté, participer aux entretiens candidats, aider à développer nos offres et pourquoi pas manager ta propre équipe ...Quelques exemples de missions. La conception, la mise en place et le support des pipelines dataLe déploiement de solutions data dans une démarche Agile et DevOpsLe développement d'API REST pour exposer les donnéesLe support et l'expertise sur les technologies Data et les solutions déployées : Snowflake, BigQuery, Azure, AWS, Spark, Kafka, Elasticsearch, ...#J-18808-Ljbffr