Middle Data Engineer (Отдел развития и внедрения AI)
Описание
Что делать? – Разработка и поддержка ETL/ELT пайплайнов (Airflow, dbt, Spark ); – Интеграция данных из различных источников (PostgreSQL, MSSQL, Oracle, S3, API); – Сбор данных из внешних источников (REST API, базовый web scraping); – Участие в построении витрин данных (DDS, Data Marts, wide tables); – Оптимизация SQL-запросов и обработок данных; – Подготовка датасетов для ML моделей; – Формирование feature store (под руководством Senior/DS); – Подготовка данных для AI-сервисов; – Подготовка данных для обучения и инференса моделей; – Участие в ML pipeline (data preparation + scoring); – Работа с потоками данных (Kafka — чтение/запись, без глубокой настройки); – Участие в реализации событийных сценариев. Если у вас: – Опыт работы Data Engineer: 2+ года; – Уверенное знание SQL (join, window functions, оптимизация базового уровня); – Хорошее знание Python (pandas, работа с API, обработка данных; – Опыт работы с Airflow; – Базовый опыт работы с Spark или понимание его принципов; – Опыт работы с реляционными БД (PostgreSQL, MSSQL или Oracle); – Понимание ETL/ELT процессов; – Опыт работы с API (интеграции, парсинг); – Базовое понимание streaming (Kafka или аналоги); – Понимание принципов DWH (DDS, Data Marts), Lakehouse; – Опыт взаимодействия с аналитиками или ML-командой. Ключевые навыки: – SQL,Python,Airflow,ETL / ELT, Работа с API,Основы streaming (Kafka), Data Warehousing, Data pipelines. Будет плюсом: – Опыт работы с dbt; – Базовое понимание Lakehouse (S3, Iceberg); – Опыт работы с векторными БД; – Опыт подготовки данных для ML; – Знакомство с ML pipeline; – Опыт работы с Grafana или аналогами; – Опыт работы с неструктурированными данными; – Знание основ Spark; – Опыт работы с RAG / LLM (на уровне понимания). Условия: – Официальное трудоустройство в соответствии с Трудовым кодексом РК; – График работы на выбор: 08:30–17:30 / 09:00–18:00 / 09:30–18:30; – Ежегодный оплачиваемый отпуск — 28 календарных дней; После прохождения испытательного срока: – Кафетерий льгот на сумму 250 000 тг. в год (медицинское страхование, обучение, спорт, развитие детей, авиа- и ж/д билеты); – 2 дополнительных дня Day Off в год; Дополнительно: – Лечебное пособие в размере одного оклада при выходе в отпуск (после 1 года работы, при отпуске от 14 дней).
Требования
Если у вас: – Опыт работы Data Engineer: 2+ года; – Уверенное знание SQL (join, window functions, оптимизация базового уровня); – Хорошее знание Python (pandas, работа с API, обработка данных; – Опыт работы с Airflow; – Базовый опыт работы с Spark или понимание его принципов; – Опыт работы с реляционными БД (PostgreSQL, MSSQL или Oracle); – Понимание ETL/ELT процессов; – Опыт работы с API (интеграции, парсинг); – Базовое понимание streaming (Kafka или аналоги); – Понимание принципов DWH (DDS, Data Marts), Lakehouse; – Опыт взаимодействия с аналитиками или ML-командой.
Условия
Официальное трудоустройство в соответствии с Трудовым кодексом РК; – График работы на выбор: 08:30–17:30 / 09:00–18:00 / 09:30–18:30; – Ежегодный оплачиваемый отпуск — 28 календарных дней; После прохождения испытательного срока: – Кафетерий льгот на сумму 250 000 тг. в год (медицинское страхование, обучение, спорт, развитие детей, авиа- и ж/д билеты); – 2 дополнительных дня Day Off в год; Дополнительно: – Лечебное пособие в размере одного оклада при выходе в отпуск (после 1 года работы, при отпуске от 14 дней)