В этом ноутбуке представлена реализация задачи тематического моделирования. Моделирование проводилось с помощью факторного анализа (PCA) для 3 датасетов, которые были получены с помощью парсинга различных сайтов по ключевым словам "компьютер", "продажа". Предполагается, что эти тексты имеют отношение к продаже техники и компьютеров.
Последовательность решения задачи такая:
- Предобработка текстов (удаление стоп-слов, лемматизация и т.д)
- Удаление дублирующихся текстов, репостов и очень похожих сообщений
- Создание эмбеддингов текстов, добавление в FAISS
- Извлечение из FAISS текстов, самых релевантных запросу
- Создание TF-IDF эмбеддингов
- Проведение PCA
- Отбор самых релевантных для каждого фактора сообщений
- Определение темы набора сообщений (для каждого фактора)
В самом последнем блоке "Объединенный датасет" демонстрируется устойчивость разработанного решения - 3 датасета, которые анализировались по отдельности, объединяются в один.
При этом темы, которые были выделены в маленьких датасетах, также должны быть найдены и в большом датасете, что и получилось :)