Resumen
Los auditores han utilizado las herramientas y tecnología
de coincidencias por aproximación durante décadas para encontrar similitudes,
duplicados o anomalías en los datos. Aun así, estas capacidades todavía no
suelen estar disponibles en la mayoría de las herramientas, y rara vez son
fáciles de usar.
Hoy en día, la mayoría de las organizaciones han
dispersado datos a través de un sinnúmero sistemas no relacionados, es decir,
la importancia de realizar comparaciones lógicas de datos es mayor que nunca.
·
Una
herramienta de coincidencia por aproximaciones puede ayudarle con:
·
La
armonización de datos o eliminación de datos duplicados
·
Investigaciones
de fraude
·
Datos
coincidentes de diferentes sistemas de
·
Para
fines de seguridad
·
La
identificación de similitudes para cualquier propósito analítico, tales como la
calidad de los datos de prueba
La tecnología
Arbutus proporciona a los auditores y analistas de negocios herramientas
potentes e intuitivas de análisis de datos que ofrece sólidas capacidades de
pruebas de coincidencias.
Algoritmos comunes
de comparación para la búsqueda de coincidencias por aproximación, como Soundex
y Levenshtein, son sólo el comienzo, ya que la tecnología Arbutus pone las
herramientas de correlación para la búsqueda de coincidencias por aproximación
fáciles de usar en manos de sus usuarios.
Arbutus también
puede realizar comparaciones difusas sobre y entre diferentes datos, incluyendo
los datos de mainframe heredados, no los archivos de datos de origen en un data
mart o almacén, datos basados en ERP, e incluso de fuentes web.
Con el siguiente símbolo:
representamos
varios filtros, comandos o funciones en Arbutus que le ayudarán a realizar
análisis de datos sofisticados para la búsqueda de coincidencias por
aproximación.
Coincidencias
por Aproximación
Coincidencias
por Aproximación Con Arbutus
Aprovechar la tecnología con eficacia – es uno de
los ocho atributos que máximizan la función de Auditoría Interna
|
Si se está trabajando con un archivo de gran tamaño,
datos heredados, un archivo plano tradicional, o una hoja de cálculo todos los
días, y su tarea es encontrar similitudes o duplicados en los datos - como
nombres o direcciones - "coincidencia por aproximación” es casi siempre la
mejor manera de ir.
·
La
tecnología difusa puede ayudar con:
·
la
armonización de datos o eliminación de datos duplicados
·
Investigaciones
de fraude
·
Cruzar
cuentas de diferentes sistemas con fines de seguridad
·
La
identificación de similitudes para cualquier propósito analítico, como la
calidad de los datos de prueba
Varios softwares presentan soluciones al realizar
comparaciones utilizando algoritmos como SOUNDEX y de LEVENSHTEIN, pero pocas
herramientas hacen que sea fácil. Lo que es peor, cuando los datos se
encuentran en los sistemas distintos o son datos heredados, la mayoría de las
herramientas con las capacidades de comparación lógica ni siquiera pueden
acceder a los datos.
”La tecnología se utiliza
para mejorar la eficacia del proceso de auditoría a través de la recuperación
de datos y pruebas, la minería de datos y analítica"
|
Si usted trabaja en una organización más pequeña, se
enfrenta a retos aún mayores, ya que no puede tener acceso a las herramientas y
recursos informáticos apropiados. Usted puede incluso necesitar saber de
programación rudimentaria en SQL para tratar estas comparaciones en MS Access y
Excel, que están lejos de ser herramientas ideales para la tarea.
Con los algoritmos de Arbutus para la comparación de
diferencias, como SOUNDEX o LEVENSHTEIN, están integradas en funciones tales
como SOUNDSLIKE, DIFERENCIA, y CERCA. También puede utilizar Arbutus para
preparar los datos para la comparación lógica significativa y oportuna de los datos
cuando se necesita para que coincida con los datos entre sistemas
independientes, o para una prueba de calidad de los datos.
Prueba de Fraude:
|
¿Hay empleados de
su organización se hacen pasar por los proveedores de la empresa? Esta práctica
está prohibida en la mayoría de organizaciones. En la prueba de búsqueda de
coincidencias por aproximación, los campos de dirección de dos bases de datos
han sido comparados para encontrar posibles coincidencias - y estafadores. Esta
prueba requiere programación y se creó y se despliega en menos de 5 minutos.
Herramientas disponibles
Herramientas disponibles en Arbutus
Arbutus proporciona
una serie de comandos útiles y funciones que se pueden utilizar de forma
aislada o en combinación para apoyar una variedad de escenarios de coincidencia
aproximada. Ya sea que usted está buscando coincidencias parciales dentro de la
misma tabla o entre tablas, Arbutus permite a los usuarios elegir y combinar
estas herramientas con el fin de personalizar la coincidencia aproximada para
satisfacer sus necesidades.

"60% de las funciones de auditoría interna ve
la necesidad de aumentar las habilidades sobre tecnología específica"
|
SOUNDEX genera el código de
cuatro dígitos para cualquier nombre, para la comparación general de similitud
o diferencia.
SOUNDSLIKE encapsula y se
extiende el algoritmo SOUNDEX, haciendo conversión y la comparación de dos
cadenas buscando repeticiones. Por ejemplo, el filtro:
SOUNDSLIKE (nombre,
"Smith")
... Coincidirá con
"Smythe", "Smithe" y "Schmidt". Otros ejemplos incluir Catherine/Kathyrn,
Lee/Leigh/Li, Fisher/Fischer, Don/Dawn, or Johanson/Johanssen.

|
Lección rápida:
Damerau-Levenshtein
Es el mínimo número de cambios para convertir una cadena en otra, a través
de Insertar, eliminar, reemplazar, la transposición
vs. '123 Main Street' '123 Main St' = 4
34567vs. 34576 = 1 (Levenshtein: 2)
'Rob' vs.'Robert '= 3
'Gary' vs.'Mary '= 1
'Gary' vs.'gary '= 1
DIFFERENCE calcula la distancia LEVENSHTEIN por dos cadenas de texto,
basadas en un grado de similitud que se determinará entre las dos cadenas. Esto
se puede utilizar para identificar una amplia gama de errores de datos
accidentales o intencionales.
NEAR utiliza automáticamente el método de comparación más
adecuado para los datos que se comparan (LEVENSHTEIN
para una cadena de texto, por ejemplo). Comparaciones NEAR se pueden
aplicar a cualquiera de los tipos de datos fundamentales, para que pueda
fácilmente identificar los elementos de datos que, si bien no es exacta, se
acercan.
Coincidencia por Aproximación Usando el Algoritmo de Levenshtein
La siguiente
función corta identificará los datos que difieren en dos o menos caracteres,
para que pueda encontrar similitudes en los datos que residen en dos o más
tablas de datos relacionados o no relacionados:
NEAR(customer.name, master.name, 2)
El uso de esta función en
"CUSTOMER_NAME" y "MASTERNAME" dio los siguientes
resultados, algunos de los cuales pueden requerir una mayor investigación:


Comparaciones agrupadas permiten hacer coincidir dos conjuntos de rangos de
valores:


“46% de las profesionales de Auditoria Interna han
previsto emplear el uso de la tecnología como una forma de aumentar la
eficiencia global de las funciones de Auditoría Interna”
|

ZIP1=ZIP2 and Near(date1, date2,3)
and
(name1=name2 or amount1=amount2)



Campo1 > Campo 2
o
Campo5 = Campo3 + Campo4
|
Incluso a nivel de
bits y los datos numéricos no alineados por bytes es compatible.


Armonización de Datos


Armonización de Datos
Cuando los datos no
se disponen de forma ordenada, Arbutus puede ayudar a normalizar o armonizar
estos datos. Las siguientes funciones se pueden utilizar en cualquier
combinación, o en combinación con cualquiera de las comparaciones descritas
anteriormente, para satisfacer sus necesidades:
|




... va a convertir "(888) 123-4567" en
"8881234567".

Replace(phone,
“+1 “, ””, “+”, “”)
...elimina automáticamente cualquier "+1" prefijos de América del Norte, así como el "+" de cualquier otro código de país.

·
reemplaza
los caracteres que no esté en blanco y no alfanuméricos (como puntuación) con
espacios en blanco
·
recorta
espacios en blanco iniciales o finales y compacta espacios contiguos
·
reemplaza
caracteres extranjeros con equivalentes en inglés
·
pone
en mayúsculas los resultados (como John para JOHN)
También se puede aplicar cualquier número de
sustituciones de datos estandarizados o la absorción (por ejemplo, William /
Wm, NJ / Nueva Jersey, Boulevard / BLVD.).
Estandarizar los Datos
en Segundos
Campos de dirección a menudo contienen descripciones
innecesarias, como la Oficina, #, Suite o Apartamento, o puntuación adicional,
como comas o puntos. La Función NORMALIZE
limpia automáticamente datos como estos:


... se acaba de extraer el código de área para la
comparación.
Ejecute las
Comparaciones de Búsqueda por Aproximaciones
Una vez que tenga sus comparaciones identificadas y
armonizan sus datos, el siguiente paso es llevar a cabo las comparaciones.
“Al darse cuenta del potencial del uso de la
tecnología, esto se debe enfrentar a través de tres ejes: disponibilidad de
la herramienta, habilidades adecuadas del personal y la colaboración con
otras funciones corporativas.”
|
Cuando vaya a hacer comparaciones dentro de un archivo,
es posible que la comparación de los datos dentro del mismo registro, o la
comparación de datos entre los registros. En cualquier caso, los datos a cada
lado de la comparación puede ser un campo simple, el resultado de una
expresión, o el resultado de un campo virtual multi-valor que adquiere su valor
basado en criterios definidos.
Si va a realizar comparaciones entre los archivos que
comparten una clave común, ya sea directa o indirectamente, Arbutus ofrece dos
opciones diferentes:

(Véase el gráfico en la página siguiente)

(Véase el gráfico
en la página siguiente)
Relacionar:
Relaciones Virtuales Entre Tablas o Archivos
Con Arbutus, incluso datos dispares se pueden preparar
para las pruebas de aproximaciones. El uso de la interfaz de clic y arrastre de
Arbutus, puede definir fácilmente las RELACIONES
entre las tablas de un esquema original o una que ha sido armonizada. También
se pueden definir múltiples relaciones e independientes.
Combinar y
Compartir Datos de Múltiples Tablas
UNIR ofrece una selección más amplia de opciones que RELACIONAR desde la primaria a la tabla
secundaria. Al igual que RELACIONAR,
una combinación puede llevarse a cabo en unos pocos clics, e incluso ofrece la
opción de seleccionar el tipo de unión haciendo clic en un diagrama de Venn.
Arbutus también ofrece maneras de hacer comparaciones
entre los archivos que no comparten una clave tradicional:

UNIR MUCHOS-A-MUCHOS combina todos los registros en un archivo con todos los registros en un
segundo archivo, de la misma manera como el estándar de unión en SQL. A
continuación, puede aplicar cualquiera de las técnicas de armonización y de
comparación descritos anteriormente para limitar el tamaño del conjunto de
datos resultante. Esta técnica se puede utilizar para comparar los datos de
cualquier fuente, incluidas las fuentes dispares. Tenga en cuenta que UNIR MUCHOS-A-MUCHOS a menudo da un
resultado complejo, por lo que se utiliza casi siempre como último recurso.
Comparar Datos Heredados
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Comparación de Datos Heredados
Al comparar los datos, que rara vez se tiene la suerte de
que residan en un entorno único y homogéneo. Sus datos pueden residir en los
sistemas relacionales como Oracle, los sistemas ERP como SAP, entornos
mainframe de complejidad y tamaño a menudo atroz, o incluso en las páginas web.
A menudo, abarcará a varios de estos.
Con los servidores Arbutus, puede comparar todos estos
datos.
|
Servidores Arbutus cuentan con tecnología basadas en
servidores nativos optimizados para procesar grandes archivos o complejos de
una manera altamente eficiente. Todos los servidores Arbutus muestran sus datos
nativos en un formato tabular reconocible al instante.
·
El
Arbutus Windows Server soporta prácticamente todos los datos basados en
Windows, y se lee directamente de fuentes relacionadas (a través de ODBC),
incluyendo SAP e incluso URL web.
·
Los
servidores zSeries e iSeries Arbutus le permiten leer directamente las bases de
datos nativos como IMS, DB2 y ADABAS) junto con los datos nativos (como VSAM y
QSAM) independientemente de sus complejidades internas.
Lo que hace que los servidores Arbutus sean únicos para
la comparación de datos es que todos los servidores Arbutus pueden intercambiar
libremente sus datos. Como resultado, los datos de estas plataformas diferentes
se pueden transferir fácilmente a una sola plataforma - típicamente en Arbutus
Windows Server - y ser comparados. Esto le permite comparar las fuentes de datos
es posible que no haya considerado lo contrario.
Ampliar el Alcance
de Hacia las Aplicaciones más Comunes
Si ya utiliza herramientas comunes tales como Microsoft
Excel o Crystal Reports, potentes capacidades de acceso a datos y armonización
de Arbutus pueden extender su alcance.
Arbutus puede proporcionar acceso a todos sus datos a
través de LegacyLink, que es un driver ODBC que actúa como un "canal de
datos", proporcionar cualquier aplicación basada en Windows compatible con
ODBC con acceso de sólo lectura a todos sus datos
Imagínese la lectura, de datos de mainframe heredados
armonizadas, directamente desde Excel o Crystal Reports. Con Arbutus, este
sueño se haga realidad.
auditcaats.com
Conclusión
Los auditores a menudo luchan con algún tipo de
programación o con las limitaciones solución de sus herramientas actuales.
Muchas veces, las pruebas basadas en la lógica de búsqueda de coincidencias por
aproximaciones no son realizas debido a estas barreras. La tecnología Arbutus
ayuda a los auditores y otros usuarios encontrar nuevas y mejores resultados de
su análisis utilizando herramientas con la tecnología basadas en la lógica de
búsqueda de coincidencias por aproximaciones.
·
Póngase en contacto
a través de correo electrónico o llamada de teléfono gratuito, para hacerles
una demostración
Comentarios
Publicar un comentario