Гибридная методика очистки данных проектного мониторинга на основе интегрального индекса качества и метода анализа иерархий
Цель исследований состоит в разработке новой методики очистки данных проектного мониторинга, обеспечивающей оценку качества записей до их загрузки в информационные системы. Для этого используются методы системного анализа, семантического анализа текстов, робастной статистики и анализа иерархий. Предложена модель очистки данных на основе интегрального индекса качества (IQI), которая объединяет синтаксические, семантические и логические критерии. Разработанный алгоритм рассчитывает индекс IQI и позволяет принимать обоснованные решения о допуске записей. Данные, полученные вследствие эксперимента, демонстрируют значительное повышение полноты обнаружения дефектов при сохранении высокой точности, что позволяет выявлять даже скрытые ошибки и эффективно применять наш подход в системах предварительной очистки данных.
Авторы: Д. Л. Тукеев, О. В. Афанасьева, И. М. Новожилов, Е. А. Прокина, О. С. Волгина
Направление: Информатика, вычислительная техника и управление
Ключевые слова: очистка данных, качество данных, проектный мониторинг, интегральный индекс качества, анализ иерархий, семантический анализ, обнаружение аномалий
Открыть полный текст статьи