La primera, relacionada con el por qué elegir python, y comprendo que, principalmente se trata por su simpleza, pero dado que se está poniendo en boga, de a poco, Rust, ¿por qué seguiría siendo preferible Python en lugar de Rust?

En el acceso a columnas se colocó proveedor y luego importe, pero puedo cambiar el orden sin ningún problema o de acuerdo a como vayan los datos en la base inicial debo colocar así mismo el orden en la fórmula?

Hola ! con %time antes y despues podes medir cuanto tarda en realizar una tarea. El limite va a ser la memoria más que nada. Con 32 GB de RAM pude realizar tareas complejas en 3 millones de registros sin problemas. Para esa cantidad de registros también se utilizar paralelizar, por ejemplo con la librería DASK

Estimado David, se podría realizar conexiones a las bases de datos que mencionas, pero para eso se necesitan librerias que ofrezcan la posibilidad de realizar dichas conexiones. Como dependen del motor de base de datos a utilizar, cada cliente de conexion podría ser distinto. Algunas bases utilizan un standard llamado ODBC, pero mantiene el mismo espiritu: lograr conectar nuestros programa de Python con la base de datos. Una vez establecida la conexion, se pueden cargar los datos en las estructuras de datos que vemos en este taller y continuar trabajando aplicando todo lo que estamos viendo en este taller. Como los procesos de conexion a la base excede un poco el alcance de este taller, si queres trabajar con alguna en particular podes preguntarnos y te podemos orientar un poco mejor.

Estimada Rosana, len toma la cantidad de filas del dataset o conjunto de datos (cantidad de filas del excel). Count agrupa y suma la cantidad de filas por columnas. Si mi tabla tiene 3 columnas, count me devuelve la cantidad de filas que contiene cada una de las columnas.

Buenas tardes al colocar NaN en los datos faltantes no estariamos alterando la información entregada por la entidad examinada, generalmente para garantizar el no repudio entre las partes se suele generar el hash del archivo entregado, gracias por la respuesta

Buenas tardes, quería saber si python permite también seleccionar aleatoriamente y mostrar los registros para cumplir con el tamaño de la muestra obtenido usando la fórmula de muestreo aleatorio simple. Gracias

para los duplicados hay alguna forma de detectar casos en los que por ejemplo me diga que los apellidos Lozano y Losano son los mismos, o casos que suceden como Nuñez y Nunez, o que recomiendan para estos casos?

Es posible analizar millones de registros, cerca de 400 gigas y cruzarlos con otros 300 gigas? mediante google colab? o en ese caso ya se recomiedna hacerlo de forma local?

Google Colab nos da una maquina virtual de 12 gb de RAM sin cargo. Para cruzar esa cantidad de datos vas a necesitar más. Quizas podrías explorar otras librerías, como DASK que paraleliza tareas (parte el panda en N pandas) para trabajar con grandes datos. Otra alternativa es hacer un muestreo aleatorio simple al leer la base

Buenas tardes, por el tema de la confidencialidad... como ustedes saben como entidad de control muchas veces revisamos información sensible... qué clase de confidencialidad o seguridades me ofrece Google Colab si tengo que subir una base de datos con información susceptible y que me asegura que esta información no se quede en archivos temporales o deje algún tipo de copia en servidores externos?

Buenas tardes, nosotros para la auditoria usamos mucho la herramienta ACL, mediante la cual podemos hacer muestreos aleatorios de unidades monetarias o registros, y nos permite luego en base a los errores, extrapolar automáticamente al total de la población. Con esta herramienta se puede hacer eso?

Este programa tendria mas utilidad para el auditor que puede obtener informacion sensible exclusivamente de organizaciones a modo de investigación o puede ser utilizada por otras áreas de la auditoria.

Tengo bases de datos incompletas que envío el auditado. Yo puedo depurarlas, limpiarlas agregando faltantes o estaría modificando lo enviado originalmente?

Es que hay una diferencia de método, antes se trabaja con muestreos aleatorios pero se corría el riesgo que en ese muestreo no quedaran los elementos más relevantes para la realización de las auditorías. Con estos nuevos análisis de datos, toda la muestra resulta relevante y en muchas ocasiones ya practicamente son indicios, sobre los cuales al efectuar la auditoría se llega a mejores resultados y más concretos.

Por ej columnas en las que faltan números de expedientes, otra no tiene todas las órdenes de compras, en la de cantidades y precios algunas celdas vacías tb…

Hola Ana, el tema es muy interesante, creo que es una discusión pendiente pero excede este taller y a la CTIC. Voy a proponer hacer algún encuentro al respecto para que en conjunto entre auditores de campo, referentes legales y gente de tecnología podamos agregar valor a la discusión

Mariano, muchas gracias, esto representa un cambio de paradigma frente a los metodos tradicionales, lo que se puede hacer ahora, antes se consideraba imposible. Me ha gustado el enfoque que se ha dado dentro de la sesión, se está mostrando justo lo que nos encontramos en la vida real, donde los datos no son perfectos y se debe hacer una adecuación de ellos, sin que ello signifique alteración de la información. Muy bien, excelente!!!

Hola Mariano y Cristian, quería preguntar si en proximos talleres o cuadernos ad hoc, se puede programar con python para hacer "relaciones" con mas de una BD en forma simultanea y relacionarlas con "cardinalidad" con claves primarias y secundarias, relaciones de "uno a todos o viceversa"como es el caso de Power BI que las procesa y permite realizar presentaciones dinámicas, si es que resulta procedente la pregunta para este caso. Gracias Gustavo

Si Mariano... gracias... justamente por eso te ponía si era procedente... porque me imaginaba que es un taller ppd de esos temas... pero queria saber si es que se puede hacer... Gracias nuevamente... Gustavo

La verdad es un tema muy complejo que bueno que todos los profesionales de un grupo auditor pudieramos clasificar los datos con un conocimiento tecnico cientifico, que nos permita obtener una muestra objetiva y debidamente soportada, me pregunto si es posible crear libros con formulas prediseñadas, que permitan a los auditores que no contamos con el conocimiento suficiente para ello, alimentar con los datos obtenidos en el conocimeito y la gestión de los entes de control en presupuesto, contratación, etc, obtener las muestras y analisis dirigidos al cumplimiento de la acción fiscalizadora.

Beatriz, perfectamente posible lo que propones. Solo que hay que tener en cuenta la materia a auditar y los tipos de datos que se van a procesar y evaluar. Para los auditores, Phyton es un lujo, por que permite trabajar sobre las anomalias directamente. Y no apoyados solamente sobre las muestras.