Оптимізація процесу інтегрування сторонніх веб-сервісів із залученням застосування конфігурованого клієнт-серверного додатку

Abstract

У вступі подано загальну характеристику роботи, обґрунтовано актуальність задачі інтегрування сторонніх веб-сервісів у сучасні клієнт-серверні системи, сформульовано мету, об’єкт і предмет дослідження, визначено основні завдання та очікуваний практичний ефект від впровадження конфігурованого інтеграційного шару. Показано, що в умовах широкого поширення хмарних платформ і сервісно-орієнтованих архітектур розробник дедалі рідше реалізує функціональність «з нуля», натомість інтегрує спеціалізовані зовнішні сервіси авторизації, документообігу, аналітики тощо, що потребує керованих та відтворюваних підходів до побудови інтеграційної підсистеми. У першому розділі розглянуто теоретичні засади інтегрування клієнт-серверних додатків із зовнішніми веб-сервісами. Проаналізовано причини відмови від повністю «закритих» монолітних рішень на користь використання профільних сторонніх сервісів, узагальнено типові труднощі інтеграції, пов’язані з різноманіттям протоколів, форматів даних, механізмів автентифікації, політик версіонування та обмежень доступу. Показано обмеження підходів, що спираються на індивідуальні інтеграційні модулі або SDK для кожної платформи, та сформульовано постановку задачі розроблення конфігурованої системи інтеграції, яка зменшує обсяг ручного кодування, підвищує керованість інтеграційних процесів і сприяє їх повторному використанню. У другому розділі розроблено концепцію конфігурованої системи інтеграції сторонніх веб-сервісів. Сформовано функціональні та нефункціональні вимоги до системи, визначено ролі користувачів та основні сценарії використання, описано принципи функціонування інтеграційної платформи як проміжної ланки між клієнтськими застосунками та множиною зовнішніх API. Подано структуру бази даних для зберігання інформації про клієнтів і їх організації, параметри авторизації, опис інтеграційних схем і результати ETL-процесів. Окрему увагу приділено архітектурному поділу на модуль керування інтеграціями клієнтів, брокер автентифікації, уніфікований API-шлюз і сервіс конфігурованої пакетної інтеграції даних, а також організації клієнтських сховищ, у яких для кожної інтеграції формується власний простір таблиць. У третьому розділі наведено програмну реалізацію конфігурованої системи. Спочатку обґрунтовано вибір стеку технологій для побудови мікросервісної архітектури, зокрема мови програмування для серверної частини, веб-фреймворку з підтримкою асинхронної обробки HTTP-запитів, системи керування базами даних із підтримкою оператора MERGE для ефективної реалізації upsert-операцій, а також засобів контейнеризації та допоміжних бібліотек для роботи з мережевими викликами, шифруванням і логуванням. Далі описано ключові програмні рішення, що забезпечують конфігураційно керований характер платформи, зокрема інтерпретацію JSON-конфігурацій на рівні уніфікованого API-шлюзу та сервісу інтеграції даних, побудову дерев залежностей між таблицями для обробки вкладених структур, механізм виявлення записів, видалених на стороні джерела, багаторівневий моніторинг виконання сценаріїв та динамічне перевизначення параметрів без модифікації програмного коду. У розділі подано показові фрагменти програмного коду, що ілюструють зазначені підходи, тоді як повний програмний комплекс винесено до додатків. У четвертому розділі здійснено демонстрацію сценаріїв роботи системи та оцінку ефективності її впровадження. На основі послідовності скріншотів інтерфейсу показано повний цикл налаштування інтеграції: створення організації та підписки, ініціювання та завершення процедури авторизації на стороні зовнішнього сервісу, запуск інтеграційного сценарію, перегляд статусів виконання та отриманих даних. Проведено емпіричну оцінку ефективності на основі опитування розробників, які порівнювали орієнтовні трудовитрати на реалізацію інтеграції як у варіанті розробки окремого модуля “з нуля”, так і у варіанті використання розробленої конфігурованої системи інтеграції сторонніх веб-сервісів. Показано, що застосування запропонованої платформи дозволяє суттєво скоротити обсяг ручного кодування, знизити ризик помилок конфігурації та зробити процес інтеграції більш прогнозованим з точки зору часу розробки. У висновках узагальнено результати виконаної роботи, підтверджено досягнення поставленої мети, яка полягала у розробленні та програмній реалізації конфігурованої системи інтеграції сторонніх веб-сервісів на основі клієнт-серверного підходу. Запропоноване рішення розглядається як практично придатна основа для побудови корпоративної інтеграційної платформи, а також як база для подальшого розвитку у напрямі автоматизованого формування конфігурацій, розширення переліку підтримуваних сервісів і впровадження більш розвинених засобів моніторингу та аналітики інтеграційних процесів.