Software Engineer (Hadoop, Realtime, DataLake, Big Data, ETL, Business Intelligence, Advanced Analytics, Cloud , Spark)

• Entwerfen und entwickeln Sie mehrere Spark-Jobs, um die Datenquellen (csv, hbase, Hive und SQLServer) über die in Azure gehostete Big Data-Landschaft zu integrieren.
• Verwendet Lambda architektur daher Schema-Design für Batch-Layer-Speicher in Hive und Echtzeit-Layer- Speicher in Hbase.
• Entwickelt mehrere Topologien für die Archivierung, Replay, Echtzeit-Scoring, Feature-Berechnungen für Scoring-Modell und Modellintegration mit Apache Sturm
• Datensammlung von E-Commerce-Plattform: Integrierte Scriptlets zum Sammeln von Verhaltens-, Geräte-Tracking und PII-Daten.
• Containerized das R-basierte Modell, um als eine API verfügbar zu machen, aktiviert das Modell für TCP-Aufruf
• Erstellte einen Tag-Manager und eine API mit Microservices-Architektur.
• Integrierte APIs verschiedener Anbieter in der E Commerce-Plattform zur Datenerfassung und Geräteidentifikation
• Erlernte die Modellierungstechniken mit H2o.

• Entwicklungsumgebung auf Big Data gesetzt, die Apache Hadoop, Spark und Hive für Inhouse-Cluster enthält
• Gesammelt und verarbeitet Raw-Produktionsdaten im Maßstab von relationalen Quellen mithilfe von Sqoop und Apache Spark (ETL)
• Durchgeführt datenmodellierung für die Speicherung in HDFS (Serialisierung, Komprimierung, Abfrage, Partitionierung, Bucketing und De-Normalisierung Aspekte) (ETL).
• Arbeitete eng mit Test- und Qualitätsteams zusammen, um den Datenkontext in die Hadoop-Speicherschicht zu integrieren.
• Gelernt und angewendet Konzepte zur Funkenabstraktion mit Hilfe von APIs von RDDs und DataStream
• Verwendetes Statistikwissen zur Analyse.
• Organisierte Präsentationen, um das Verständnis der Projektbeteiligten auf gleicher Ebene zu bringen

• Mehrere Map Reduce-Jobs entwickelt und entwickelt, die lokal konfigurierte Hadoop-Cluster für Datenmengen verwenden, die in HDFS sowie in Amazon S3-Speichern gehostet werden
• Erstellt und konfiguriert [S3-ausgelöste] AWS Elastic MapReduce-Cluster [mithilfe von Spot-Instanzen] für verkettete Jobs mit den Common Crawl daten von Terabyte.
• Um hohe Geschwindigkeit zu erreichen, integrierte der Schlüssel-Wert-Speicher von Infinispan (Memcache)
• Komplexe Diagramme entworfen, um die Auswirkungen von Bucket-Elementen und Bucket-Größe auf den Distributionsspeicher zu analysieren (verwendete R Statistiksprache)
• Entwickelte Web Services mit Python und schrieb Algorithmen für die optimale Kostenberechnung von Web Graphen
• Migrierte die auf Map Reduce basierenden Batch-Pipelines mithilfe von Transformation und Aktionen in die Spark-Pipeline. Spark Streaming und Spark SQL API zur schnelleren Verarbeitung von Daten in Scala implementiert

• Analyse, Entwurf und Implementierung von Features für einen analytischen Suchdienst mit SQL-Skript
• Analyse und Korrektur von komplexen
• eingerichtet eine Entwicklungsumgebung für den gemeinsamen Entwicklungsprozess basierend auf HANA Studio
• Hat die Entwicklung von Anwendungsfunktionen in einer Javascript und HTML5 basierten Schnittstelle.
• Hatte Echtzeit-Analyse-Utility für Kunden entwickelt, um ihre Geschäftsrichtungen mit einer natürlichen Sprache Abfrage Schnittstelle zu finden. Es war Teil eines generischen Open Domain-und Open-Language-Tool mit natürlicher Sprache Formalisierung.

Berichte Migration & Analytik

• Hatte SSRS-Berichte / SSAS-Cubes mit Benutzerakzeptanzkriterien entworfen, entwickelt und getestet.
• Business-Analyse- und Anforderungs-Engineering für Cognos-Katalogberichte, Impromptu-Katalog, DB2-Schema gemacht (Der Katalog bestand aus 6 DB-Schema und 200 + Tabelle)
• Hatte das Berichtsmodell, 100 Berichte und 6 Würfel akzeptabler Qualität innerhalb der vorgegebenen Fristen geliefert
• hatte Berichte und Cubes über Sharepoint-Server (Entwicklung und Produktion) in Integrations- und Produktionsumgebungen bereitgestellt und getestet
• Optimierung des XML-Generierungsdienstprogramms mit der Java StAX-API, um SSRS-Modellkomponenten von Datenquellen-View- und Semantic Model-Dateien zu generieren (wodurch der Entwicklungsaufwand von 3 Monaten auf 1 Monat reduziert wurde)

Datenmigration (ETL)

• Zur Synchronisation der Multisystemdaten von verschiedenen Filialen zu einem zentralen Repository, entworfene Datenflüsse als Teil eines Integrationsprojekts.
• Anforderungs-Engineering aus der Legacy-Infrastruktur von Oracle DB-Paketen zur Überwindung von Leistungsproblemen, Konstruktionsfehlern und unvermeidbaren Funktionsfehlern.
• Bereinigte Daten von 5 Artikelspeicherdatenbanken und synchronisiert sie nach der Umwandlung in einem Repository.
• Geplante und bereitgestellte SSIS-Pakete in Test- und Produktionsumgebungen.
• Durchgeführtes rigoroses Testen und eine um 38% höhere Ausführungsgeschwindigkeit durch SSIS-Pakete, gemäß Standard-SSIS-Verfahren
• Verbesserte Leistung durch automatische Planung von Datenflüssen

Staging, Migration und Integration (ETL)

• Analyse, Entwurf und Entwicklung von Datenworkflows für ein Datenkonsolidierungs- und Synchronisationsprojekt, um die Integration von Unternehmensdaten zu ermöglichen
• Entwickelte SSIS-Pipelines für Zwei-Wege-Datenflüsse unter Verwendung von MDS-Staging- und ERP-Daten von AX Dynamic.
• Analyse und Entwicklung von SSIS-Datenworkflows mit WCF-basierten Webservices, MDS-basierten Metadaten.
• Hatte Modelle, Entitäten, Attribute (Domänenattribute) erstellt, die Modellierung und Versionsverwaltung in MDS verwenden. Hatte Zugriffsebenen für Entitätsdaten und Attributhierarchien definiert.
• Hatte Qualitätsmetriken für SSIS-Pakete auf dem akzeptablen Produktionsniveau beibehalten.
• Unsere Arbeit anerkannt für die Förderung der ultimativen Analyse um 2 Monate früher und risikofreier. Hatte das Medium-Capacity-Modell genutzt, um den Platz zu verbessern