דרישות המשרה
ניסיון של לפחות 3 שנים כ Data engineer – חובה
ניסיון של 3 שנים של עבודה עם שפות Object-Oriented Programming (OOP)
ניסיון של 3 שנים עם Python – חובה
ניסיון מעשי עם Spark עבור Large scale data – חובה
ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS יתרון משמעותי
הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
ניסיון של כלי data pipelines כמו airflow, Kubeflow
תואר במדעי המחשב. הנדסה .מתמטיקה או סטטיסטיקה – חובה
הבנה של מושגים ותהליכים בתחום machine learning
הכרות עם פתרונות GenAI / prompt engineering יתרון