Big Data Engineer Utrecht

Voor mijn klant in Utrecht ben ik op zoek naar een Big Data engineer. Voor deze functie hebben zij iemand nodig die zowel ervaring heeft met CloudFormation als Big Data. Ervaring met AWS is een vereiste voor deze rol.

Ik zoek iemand die kan helpen bij de migratie naar AWS en kan assisteren bij de ontwikkeling van een real-time/streaming stack (Kafka) en usecase. Jij zal je bezig houden met het ontwikkelen, onderhouden, testen, analyseren en evalueren van de gegevens.

Functie eigenschappen van een Big Data Engineer:

De verantwoordelijkheden van een big data engineer kunnen variëren, afhankelijk van de behoeften van het bedrijf. Over het algemeen omvatten de taken van een big data engineer het volgende:

• Gegevensverzameling: Het identificeren en verzamelen van relevante gegevensbronnen, zowel intern als extern, om waardevolle informatie te verkrijgen. Dit kan onder meer het extraheren van gegevens uit databases, logbestanden, sensoren, sociale media en andere bronnen omvatten.
• Gegevensopslag en -beheer: Het ontwerpen en implementeren van gegevensopslag oplossingen die in staat zijn om grote hoeveelheden gegevens efficiënt te verwerken en op te slaan. Dit kan het gebruik van gedistribueerde systemen zoals Hadoop, NoSQL-databases en cloudgebaseerde opslagdiensten omvatten.
• Gegevensverwerking: Het ontwikkelen van gegevensverwerkingssystemen en workflows om grote datasets te transformeren en te verwerken. Dit kan onder meer het gebruik van technologieën zoals Apache Spark, Apache Flink, Hive, Pig en andere gegevensverwerkingsvormen omvatten.
• Gegevensanalyse: Het toepassen van geavanceerde analytische technieken op de verzamelde gegevens om waardevolle inzichten en patronen te ontdekken. Dit kan onder meer het gebruik van machine learning, data mining en statistische analysemethoden omvatten.
• Prestatie-optimalisatie: Het optimaliseren van gegevensverwerkings- en analyseprocessen om maximale prestaties en efficiëntie te bereiken. Dit omvat het identificeren en oplossen van knelpunten in het systeem, het finetunen van query’s en het implementeren van schaalbaarheid strategieën.
• Beveiliging en privacy: Het waarborgen van de beveiliging en privacy van de verzamelde gegevens. Dit omvat het implementeren van beveiligingsmaatregelen, zoals gegevensversleuteling, toegangscontrole en naleving van privacyregelgeving.
• Samenwerking: Het werken met andere teams, zoals data scientists, analisten en softwareontwikkelaars, om gegevens gerelateerde projecten te ondersteunen en gezamenlijk oplossingen te ontwikkelen.

Wat wij zoeken in een Big Data Engineer:

• Ervaring met implementaties en automatiseringstools voor provisioning (AWS CloudFormation, Ansible, Docker, CI/CD (GIT), Kubernetes of Helm-charts);
• 3+ jaar programmeerervaring (Python, Scala, etc.);
• 3+ jaar ervaring met Big Data en een diepgaand begrip en toepassing van moderne technologie stacks voor gegevensverwerking (Hadoop, Spark, Hive, HBase, Kafka, etc.);
• Diepgaand begrip van streaming data-architecturen en technologieën voor real-time en low-latency gegevensverwerking (Kafka);
• Ervaring met gegevens pipeline- en workflow management tools zoals Oozie of Airflow; 
• Vermogen om het gebruik van best practices op het gebied van Data Engineering te bevorderen en kennis te delen;
• Ervaring met werken met AWS is een vereiste.

Wat wij bieden:

• Inhuur voor 6 maanden met kans op verlenging;
• Fulltime opdracht, maar 32 uur is ook bespreekbaar;
• Flexibel en hybride werken;
• Werken in een vooruitstrevende technische omgeving.

De Big Data Engineer

De big data engineer heeft de verantwoordelijkheid om ervoor te zorgen dat grote hoeveelheden gegevens effectief worden beheerd, verwerkt en geanalyseerd om waardevolle inzichten te genereren die bijdragen aan de besluitvorming en het succes van een bedrijf. Een big data engineer is een professional die gespecialiseerd is in het werken met grote hoeveelheden gegevens. Ze spelen een cruciale rol bij het ontwikkelen, implementeren en onderhouden van systemen die nodig zijn om big data te verzamelen, op te slaan, te verwerken en te analyseren.