Влияние уменьшения размерности словоформенных эмбеддингов на качество классификации текста

Аннотация

Сайгин А.А., Федосин С.А.

Дата поступления статьи: 03.11.2024

В статье представлены существующие методы уменьшения размерности данных для обучения машинных моделей естественного языка. Вводятся понятия векторизации текста и слоформенного эмбеддинга. Формируется задача классификации текста. Формируются этапы обучения классификатора. Проектируется классифицирующая нейронная сеть. Проводится серия экспериментов на определение влияния уменьшения размерности словоформенных эмбеддингов на качество классификации текста. Сравниваются результаты оценки работы обученных классификаторов.

Ключевые слова: обработка естественного языка, векторизация, словоформенный эмбеддинг, классификация текста, уменьшение размерности данных, классификатор

2.3.1 - Системный анализ, управление и обработка информации

.