csv2xyd: Optimizando el Análisis de Endemismo en la "Era de Big Data"

 

csv2xyd

El análisis de áreas de endemismo es crucial en biogeografía y conservación. Sin embargo, el manejo de los crecientes volúmenes de datos de biodiversidad online presenta desafíos significativos, como errores tipográficos, duplicados e inconsistencias taxonómicas. Para abordar esto, se ha desarrollado csv2xyd, un nuevo software en Python diseñado para simplificar el preprocesamiento de estos datos.

csv2xyd es una herramienta con interfaz gráfica que facilita la conversión de archivos CSV (un formato común en repositorios de biodiversidad) al formato XYD, el cual es específico y requerido por programas de análisis de endemismo como NDM/vNDM.

Características csv2xyd ofrece una serie de funcionalidades:

• Limpieza de datos: Detecta errores tipográficos en los nombres de las especies y permite corregirlos, además de eliminar ocurrencias duplicadas. También ayuda a identificar inconsistencias taxonómicas.
• Filtrado avanzado: Ofrece opciones para filtrar los datos, por ejemplo, eliminando especies con pocas ocurrencias o seleccionando registros específicos.
• Eficiencia con Big Data: Ha sido probado con éxito en conjuntos de datos masivos, procesando millones de registros en minutos. Por ejemplo, un dataset de 4.8 millones de ocurrencias es procesado en 136.53 segundos.
• Visualización y análisis geoespacial exploratorio: Incluye la posibilidad de generar mapas interactivos de las ocurrencias y realizar análisis espaciales básicos como el cálculo de riqueza y diversidad en polígonos.

Desarrollado en Python, csv2xyd aprovecha bibliotecas potentes como Pandas para la manipulación de datos y Dask para el procesamiento eficiente de grandes volúmenes de información.

El software es de código abierto y está disponible gratuitamente en su repositorio de GitHub. 

Esto no solo facilita su adopción, sino que también invita a la comunidad de desarrolladores e investigadores a contribuir a su mejora. Para facilitar su uso, los desarrolladores han proporcionado tutoriales en video tanto en inglés como en español.

Hasta el momento, la herramienta GeX (Santos & Fuhlendorf, 2018) ha abordado la necesidad de convertir archivos de biodiversidad a formatos como XYD. Mientras GeX es una aplicación web sencilla diseñada para la conversión directa y básica de CSV a XYD para bases de datos de tamaño moderado, csv2xyd ofrece un enfoque mucho más integral y robusto. Nuestro software va más allá de la simple conversión, proporcionando capacidades avanzadas de limpieza de datos (detección de errores tipográficos, eliminación de duplicados e inconsistencias), eficiencia para manejar millones de registros (Big Data) y filtrado avanzado. Además, csv2xyd incluye funcionalidades de visualización y análisis geoespacial exploratorio, y al ser de código abierto, invita a la comunidad a colaborar en la integración con APIs de servicios de biodiversidad como Global Biodiversity Information Facility y Encyclopedia of Life para automatizar georreferenciación de localidades sin coordenadas y validación taxonómica. Además, se busca mejorar la capacidad de fusión de múltiples archivos CSV basándose en relaciones de campos, similar a las uniones de bases de datos. Esto asegura que csv2xyd pueda crecer y adaptarse a las necesidades emergentes de la comunidad científica.

Esta es la cita:

Liria J, Soto-Vivas A 2025 Csv2xyd: A Python Software for Processing Large Biodiversity Datasets for Endemism Analysis. Journal of Open Research Software, 13: 8. DOI: https://doi.org/10.5334/jors.538

https://openresearchsoftware.metajnl.com/articles/10.5334/jors.538

Curso de postgrado “Biogeografía Histórica Cuantitativa: un enfoque crítico”

Les remito la información:

Para más detalles, dirigirse a la página del curso en la Unidad Ejecutora Lillo

Docentes: Lone Aagesen (IBODA), Salvador Arias y Claudia Szumik (UE Lillo). Ayudante de campo: Alejandra Molina (UE Lillo).

Contenido: Este curso también difundido con el título: “Biogeografía de la A a la V” analizará criticamente conceptos, teorías y metodologías cuantitativas de dos grandes núcleos biogeográficos: las áreas de endemismo y la biogeografía filogenética. Incluirá generalidades y detalles de la cladística filogenética, visitaremos las diferentes instancias del manejo del espacio en el contexto de la biogeografía, revisaremos 40 años de biogeografía filogenética (historia de la tierra e historia del taxón), y es claro hablaremos sobre las áreas de endemismo consideradas como las unidades de estudio en BH. Las clases incluyen teóricos, ejercicios a realizar con computadora y una buena discusión. Aquellos con datos propios podrán traerlos para analizar durante la cursada. Este curso contará también con la sección terapia de proyecto. Así también ¡caminata biogeográfica!

Destinatarios: Tesistas e investigadores en Biología y carreras afines interesados en biogeografía y análisis filogenético.

Carga horaria: 50 hs. aprobado por el postgrado de la Facultad de Cs. Naturales (UNT).

Fecha: 25 al 29 de Abril. Tomar en cuenta que salimos para Villa Batiruana el 24 a la tarde.

Costo del curso: estamos intentanto que el costo sea el mismo que el curso de filogenia dictado en Nov. del 2017 (5mil). Esto incluye traslado a la Villa desde el Lillo (ida y vuelta), hospedaje, alimentación (las 4 comidas plus coffer breaks) este último ítem cuenta con mejoras notables en el servicio. 🙂

Fecha limite de preinscripción: 15 de Marzo de 2018.

Si decidís aplicar a la preinscripción, necesitamos que envíes a Claudia Szumik (szu.claudia@gmail.com) la siguiente info:

1- una carta de intención (por qué te sería útil este curso)
2- tus datos académicos generales (institución donde trabajas, director de tesis, tema de trabajo)

Colocando filogenias en Google Earth (4)

Esta entrada retoma los antiguos post donde les mostraba como colocar filogenias en Google Earth (GE), para crear “geofilogenias”.

En esta ocasión les muestro la aplicación desarrollada por R. Page:

Para crear un archivo kml que podamos ver en GE necesitamos:

Un archivo de árboles en formato NEXUS, y un listado de terminales con coordenadas geográficas. Ambos deben coincidir los nombres de los terminales:

 

Ejecutamos la aplicación de IPHYLO, e insertamos el archivo de árboles (pendientes con el formato, porque el comando UTREE no es reconocido):

Luego colocamos el listado de terminales y coordenadas (en grados decimales); fíjense que la primera fila contiene el título de cada columna (Scientific_name,Latitude,Longitude):

 

Finalmente nos muestra si los datos hacen “match”, y más abajo aparece el código kml (que puede ser copiado y guardado):

 

El archivo kml puede abrirse con GE:

Fíjense que este árbol está anclado al suelo y las ramas se ven muy extendidas.

Mapas base para NDM (7)

Esta entrada contiene el mapa base (map line) para NDM del Continente Africano

Formato xyd (xyData)

Formato shp (Shapefile)


Les recuerdo (tomado del Manual de NDM) en que consiste el comando "map line":

"En este tipo de matrices VNDM permite poner de fondo los límites de un mapa. Esto se logra incluyendo al final del archivo:   

                                      map 
                                      line 
                                      66.217 21.767
                                      66.183 21.783
                                      66.167 21.800
                                      66.117 21.817
                                      66.067 21.833
                                      66.050 21.850
                                      66.050 21.867
                                      66.050 21.883

Cada línea (máximo 300 líneas) del mapa puede tener  hasta 5000 referencias planas. Nótese que si se termina de definir la península de Yucatán y se pasa a la costa occidental de México debe definirse una nueva línea, sino ese salto aparecerá dibujado también en el mapa. También es posible editar las líneas en modo gráfico y salvar posteriormente las coordenadas resultantes."

Ahora que el mapa base esta disponible, sería interesante realizar un analisis de endemismo con NDM para el Continente Africano. Asi podrían compararse los resultados con otros estudios.