אנחנו מחפשים מישהו עם ראש גדול, יכולת למידה עצמית , שמסוגל להכתיב כיוון ולהיות חלק משמעותי בצוות.
בדגש על הכלים הבאים: פלטפורמת Databricks ,Kafka , azure devOps /GitHub ואפליקציות ענן שונות תוך שימוש בטכנולוגיות מתקדמות ליצירת פתרונות data בקנה מידה גדול וזמן אמת.
דרישות סף:
תואר במדעי המחשב/הנדסה/ data science / מערכות מידע או תחום רלוונטי אחר – חובה.
לפחות 5 שנות ניסיון כמהנדס/ת דאטה עם דגש על אינטגרציית נתונים ופיתוח תהליכי ETL/ELT בענן, כולל ניהול ואופטימיזציה של ביצועים- חובה.
ניסיון מוכח בפיתוח בפלטפורמת Databricks של שנתיים לפחות – חובה.
ניסיון בפיתוח ב- Python – לפחות שנתיים – חובה.
SQL ברמה גבוהה- חובה
שליטה במתודולוגיות DWH/DATA LAKE (ארכיטקטורת Data ומידול נתונים)
ניסיון ואופטימיזציה של משאבי ענן /FinOps – יתרון
תחומי אחריות:
תכנון, פיתוח ותחזוקה של pipelines מורכבים בDatabricks (PySpark/SQL).
יישום פתרונות Data Lakehouse על גבי Azure באמצעות Delta Lake.
אינטגרציה עם מערכות ענן (Azure Data Factory, Azure Synapse, Event Hub).
ניהול גרסאות קוד ו-Asset Bundles באמצעות Repos ו-Git.
הטמעת תהליכי CI/CD באמצעות Azure DevOps או GitHub Actions.
שיפור ביצועים, אופטימיזציה של קוד ופתרון תקלות בסביבת Spark.
עבודה מול צוותי Data Science ו-BI לשילוב מודלים וויזואליזציות.