Моделі, методи та алгоритми веб-скрапінгу засобами машинного навчання

Abstract

Об’єктом дослідження є процес веб-скрапінгу текстових даних з подальшою обробкою засобами машинного навчання. Метою дослідження є дослідження моделей і методів та створення програмного інструментарію процесу веб-скрапінгу структурованих даних з веб-сторінок Інтернет магазинів ресурсів для подальшої класифікації отриманої інформації засобами машинного навчання. Предмет дослідження – моделі, методи та засоби веб-скрапінгу та аналізу структурованих текстових даних. Результати дослідження: В роботі розроблено простий до імплементації алгоритм видобування структурованої інформації, який суміщує в собі процеси краулінгу та скрапінгу, таким чином спрощуючи інтеграційні та експлуатаційні процеси використання алгоритму Висновок Виконано проектування системи веб-скрепінгу для інтернет-магазину, що враховує як функціональні, так і технічні аспекти, що сприяє створенню ефективної та надійної інфраструктури для збору та обробки даних. Також було реалізовано інтерфейс користувача, а також безпосередньо систему веб- скрепінгу для збору даних Інтернет магазинів, що відповідає всім заявленим функціональним вимогам до системи.