НАО «ЮРИНФОР»

Преобразование спорных данных. Концептуальные фильтры

   Хотя инструменты анализа данных продолжают улучшаться, аналитики по-прежнему тратят значительное время и усилия, манипулируя данными и оценивая их качество для последующего выполнения их очистки. Представления данных об одном и том же объекте могут различаться как по форме, так и по содержанию, вызывая противоречие, которое называют “спорными данными” (data wrangling). Работа со спорными данными (СД) систематически включает переформатирование значений данных, исправление ошибочных или отсутствующих значений и интегрирование из нескольких источников данных. Отдельные преобразования данных (ПД) часто трудно определимы, их композиции образуют сценарии преобразования, управление которыми является сложной задачей. Повторное использование ПД и/или сценариев ПД на уровне решения задач, командной работы и применения инструментальных средств становится проблематичным или просто невыполнимым. Одной из причин является неоднозначность получения результата ПД. 
Разрабатывается проект интерактивной системы для создания преобразований спорных данных и технология преобразований спорных данных с рабочим названием CF (Conceptual Fitter). Система сочетает в себе возможности прямого манипулирования визуализированными данными с автоматизированным выводом соответствующих преобразований, позволяя аналитикам многократно изучать пространство применимых операций и просматривать их последствия их выполнения. В качестве контекста проверки и преобразования типов CF на уровне модели вычислений использует систему контекстов-соотнесений, управляемых системой сценариев, в которые группируются разрешенные преобразования и их композиции.