Limpieza de datos: reemplazo de valores ausentes y estandarización
Fecha
2011-01-25
Autores
López Porrero, Beatriz Eugenia
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Central “Marta Abreu” de Las Villas. Facultad de Matemática, Física y Computación. Departamento Ciencias de la Computación
Resumen
La limpieza de datos es un proceso de gran importancia cuando se quiere asegurar la calidad de los mismos. Aunque existen varias herramientas que permiten realizar distintas tareas relacionadas con la limpieza de datos, por diferentes circunstancias estas no son de fácil acceso para los especialistas de nuestro país. En este trabajo se hace un estudio de los principales tipos de errores que pueden aparecer en las bases de datos, proponiéndose una taxonomía de errores para las bases de datos cubanas, en que se constata que algunos de los que más se presentan son la forma no estándar de representar campos de tipo cadenas de caracteres y la ausencia de información. Se propuso una modificación de la distancia de edición de Levenshtein, un marco de trabajo para la estandarización de cadenas de caracteres y un método de trabajo para realizar en el ambiente de las bases de datos el reemplazo de los valores ausentes. Se obtuvieron las herramientas DBAnalyzer, que ayuda a la detección de errores en los datos, DBStandard, que permite la estandarización de las cadenas de caracteres, aplicando una modificación a la distancia de edición de Levenshtein y DbNulos, que ofrece un asistente que ayuda al especialista a la selección de los métodos para la sustitución de los valores ausentes. Las herramientas han sido aplicadas en varias empresas que validan la efectividad del uso de las mismas, como por ejemplo en las bases de datos de Recursos Humanos de la Universidad Central, de la ONAT (Oficina Nacional de Administración Tributaria) de Ranchuelo, del Departamento de Anatomía patológica del Hospital Provincial de Villa Clara y otras.
Descripción
Palabras clave
Limpieza de Datos, Reemplazo, Valores Ausentes, Estandarización, Taxonomía de errores, Bases de Datos Cubanas, Herramientas Computacionales, Entorno Empresarial