Реалізація техніки збору даних з веб-ресурсів соціального нетворкінгу

Abstract

Бакалаврська робота на тему - Реалізація техніки збору даних з веб-ресурсів соціального нетворкінгу. Мета роботи: розробити, реалізувати та протестувати інструмент збору даних з соціальної мережі TikTok з подальшою обробкою даних у графовій структурі для досліджень соціальних взаємодій. Об'єкт дослідження: веб-ресурси соціального нетворкінгу як джерело великомасштабних даних. Предмет дослідження: технології, інструменти та методи збору і аналізу даних із соціальних мереж на прикладі TikTok. В першому розділі проаналізовано значення даних соціальних мереж у дослідженнях та розглянуто актуальні інструменти для їх збору. В другому розділі подано структуру веб-ресурсу TikTok, визначено технічні особливості збору даних та побудовано модель взаємодій користувачів у вигляді графа. В третьому розділі реалізовано програмний інструмент збору даних із TikTok, здійснено інтеграцію з графовою базою даних та проаналізовано ефективність отриманих результатів. Реалізовано програмне рішення для збору, збереження та аналізу даних із використанням Scrapy, Neo4j та Docker. Представлено формальну модель взаємодії користувачів у соціальній мереж.