Моделі, методи та алгоритми обробки даних у хмарних середовищах AWS/Azure.

Abstract

Об’єкт дослідження: процеси обробки великих обсягів даних у хмарних середовищах AWS та Azure. Мета роботи: розробка та реалізація системи обробки даних на базі хмарних платформ AWS/Azure з використанням безсерверних технологій. Предмет дослідження: математичні моделі та алгоритми потокової обробки даних, безсерверні обчислення та ETL-процеси у хмарних середовищах. Результати дослідження: Виконано аналіз хмарних технологій обробки даних. Розроблено математичні моделі потокової обробки, реалізовано ETL-систему на базі AWS Lambda. Висновок: В результаті досліджень було отримано власну систему хмарних технологій, яка базується на Lambda-функцій та Apache Spark, що вирішує проблему потокової обробки даних і дає достатньо високі результати.