Senior AI Engineer
Описание
Halyk Банк – это мощная экосистема, где технологии сочетаются с ценностями.Мы гордимся более чем 14 000 работниками, которые делают нас лучшим местом работы. Мы предоставляем услуги во всех сегментах финансового рынка: банковском, страховом, лизинговом и т.д.Мы стремимся стать ведущим цифровым банком, внедряя инновации и предоставляя возможности для роста и развития.Мы ищем талантливых специалистов, готовых развиваться вместе с нами! Обязанности: – Разработка и внедрение LLM/VLM-решений для бизнес-задач компании; – Проектирование и построение RAG-пайплайнов для работы с корпоративными данными Разработка и оптимизация мульти-агентных систем на базе LangGraph и LangChain Настройка и обслуживание инференс-серверов (vLLM, TGI, TensorRT-LLM) Fine-tuning моделей (LoRA, QLoRA, RLHF, DPO) под специфические задачи; – Разработка REST API на FastAPI для интеграции ML-сервисов в продукт; – Контейнеризация и деплой ML-сервисов с помощью Docker и Kubernetes; – Оптимизация производительности моделей: квантизация, батчинг, управление GPU-памятью; – Проектирование и поддержка векторных баз данных для хранения эмбеддингов; – Написание и поддержка автоматических тестов для ML-пайплайнов; – Мониторинг качества моделей в продакшене (LangSmith, OpenTelemetry); – Проведение бенчмарков и A/B-тестов для сравнения моделей и подходов; – Работа с GPU-инфраструктурой: настройка multi-GPU, распределённое обучение – Подготовка и очистка данных для обучения и оценки моделей; – Исследование и внедрение новых моделей, техник и фреймворков; – Написание технической документации и ADR (Architecture Decision Records); – Участие в код-ревью и менторинг младших специалистов; – Взаимодействие с продуктовой командой для определения требований и приоритетов; – Оптимизация стоимости облачной GPU-инфраструктуры; – Обеспечение безопасности и надёжности ML-сервисов в продакшене. Требования: – Python; – Python 3.10+ (async/await, type hints, dataclasses). SOLID, Clean Architecture, DI. pytest + mocks, Ruff/Black/MyPy, Poetry/uv, Git & CI/CD; – LLM / VLM – Transformer (attention, KV-cache).Модели: GPT-4, LLaMA 3, Mistral, Qwen, LLaVA, GPT-4o.Fine-tuning: LoRA/QLoRA, PEFT, RLHF, DPO.Prompting: CoT, ReAct, Few-shot. Evaluation: LLM-as-judge, perplexity. Tokenization (tiktoken); – LangChain & LangGraphLangChain (LCEL, Agents, Tools, Memory), LangGraph (multi-agent graphs), RAG-пайплайны, Vector DB (Chroma, Pinecone, Qdrant, pgvector), LangSmith; – ИнференсvLLM (PagedAttention, continuous batching), Quantization (GPTQ, AWQ, GGUF), Serving (vLLM, TGI, TensorRT-LLM), OpenAI-compatible API.PyTorch & DLPyTorch, Hugging Face (Transformers, PEFT, TRL), Distributed (DDP, FSDP, DeepSpeed), BF16/FP16.GPU & ИнфраструктураNVIDIA (H100, A100, RTX 4090), multi-GPU parallelism, Cloud (AWS/GCP/RunPod), мониторинг nvidia-smi; – BackendFastAPI, Pydantic v2, async (asyncio, httpx), WebSockets/SSE, JWT.DevOpsDocker (GPU), Docker Compose, Kubernetes basics, GitHub Actions, Prometheus/Grafana; – ХранилищаPostgreSQL + pgvector, Redis, S3, Vector DBs, Kafka/RabbitMQ.Nice to HaveCrewAI, AutoGen, MLflow/W&B, Airflow, Streamlit/Gradio. – Уровни опыта:Junior: Python, PyTorch, LangChain, DockerMiddle: Fine-tuning, RAG, vLLM, FastAPI, LangGraphSenior: Архитектура, distributed training, MLOpsLead: Стратегия, оптимизация затрат, лидерствоSoft Skills: Аналитическое мышление, техническая коммуникация, быстрое обучение, English B2+, Agile. Условия: – Заработная плата и бонусы: конкурентоспособная оплата труда благодаря системе грейдирования, премии ко Дню Независимости и годовой бонус. – Социальный пакет: ДМС и страхование жизни, мобильная связь и скидки от партнеров. – Отпуск и отдых: 26 дней отпуска с возможностью взять дополнительные дни при наступлении важных событий. – Бонусы за рекомендации. – Рабочие условия: льготные условия на паркинг, свободный стиль одежды (smart casual). – Обучение и развитие: тренинги, вебинары и доступ к корпоративной библиотеке, четкая система карьерного роста. – Корпоративная культура: открытая и дружеская рабочая атмосфера, спортивные турниры и активная корпоративная жизнь. – Инициативы и проекты: возможность участия в социальных проектах, реализация идей в новых проектах группы «Halyk» с использованием современных digital-инструментов. – Команда: творческая и поддерживающая команда для реализации ваших идей. – Присоединяйтесь к нам и становитесь частью команды «Halyk»!
Требования
Python; – Python 3.10+ (async/await, type hints, dataclasses). SOLID, Clean Architecture, DI. pytest + mocks, Ruff/Black/MyPy, Poetry/uv, Git & CI/CD; – LLM / VLM – Transformer (attention, KV-cache).Модели: GPT-4, LLaMA 3, Mistral, Qwen, LLaVA, GPT-4o.Fine-tuning: LoRA/QLoRA, PEFT, RLHF, DPO.Prompting: CoT, ReAct, Few-shot. Evaluation: LLM-as-judge, perplexity. Tokenization (tiktoken); – LangChain & LangGraphLangChain (LCEL, Agents, Tools, Memory), LangGraph (multi-agent graphs), RAG-пайплайны, Vector DB (Chroma, Pinecone, Qdrant, pgvector), LangSmith; – ИнференсvLLM (PagedAttention, continuous batching), Quantization (GPTQ, AWQ, GGUF), Serving (vLLM, TGI, TensorRT-LLM), OpenAI-compatible API.PyTorch & DLPyTorch, Hugging Face (Transformers, PEFT, TRL), Distributed (DDP, FSDP, DeepSpeed), BF16/FP16.GPU & ИнфраструктураNVIDIA (H100, A100, RTX 4090), multi-GPU parallelism, Cloud (AWS/GCP/RunPod), мониторинг nvidia-smi; – BackendFastAPI, Pydantic v2, async (asyncio, httpx), WebSockets/SSE, JWT.DevOpsDocker (GPU), Docker Compose, Kubernetes basics, GitHub Actions, Prometheus/Grafana; – ХранилищаPostgreSQL + pgvector, Redis, S3, Vector DBs, Kafka/RabbitMQ.Nice to HaveCrewAI, AutoGen, MLflow/W&B, Airflow, Streamlit/Gradio. – Уровни опыта:Junior: Python, PyTorch, LangChain, DockerMiddle: Fine-tuning, RAG, vLLM, FastAPI, LangGraphSenior: Архитектура, distributed training, MLOpsLead: Стратегия, оптимизация затрат, лидерствоSoft Skills: Аналитическое мышление, техническая коммуникация, быстрое обучение, English B2+, Agile
Условия
Заработная плата и бонусы: конкурентоспособная оплата труда благодаря системе грейдирования, премии ко Дню Независимости и годовой бонус. – Социальный пакет: ДМС и страхование жизни, мобильная связь и скидки от партнеров. – Отпуск и отдых: 26 дней отпуска с возможностью взять дополнительные дни при наступлении важных событий. – Бонусы за рекомендации. – Рабочие