Моделі, методи та алгоритми вебскрейпінгу для збору динамічних даних.

Abstract

Об’єкт дослідження: моделі, алгоритми та технології збору й обробки динамічних вебданих. Мета роботи: розроблення моделі, алгоритмів та програмної системи для збору, обробки та зіставлення динамічних вебданих з різних джерел з використанням сучасних інструментів вебскрейпінгу.. Предмет дослідження: інформаційні технології вебскрейпінгу, алгоритми нормалізації, зіставлення товарів та методи обробки динамічних змін у вебданих. Результати дослідження: Виконано комплексний аналіз сучасних інструментів і технологій вебскрейпінгу. На основі дослідження розроблено архітектуру системи збору даних. Реалізовано два скрейпери, алгоритми нормалізації тексту та порівняння товарів. Висновок: У результаті дослідження та програмної реалізації отримано повноцінну систему вебскрейпінгу, здатну стабільно збирати динамічні вебдані, нормалізувати їх, зіставляти між собою та зберігати історію змін.