Optimización de algoritmos y reducción de la huella de carbono mediante el uso de estructuras de datos compactas y técnicas de computación de alto rendimiento para big data.

Los algoritmos para Big Data deben lidiar con grandes volúmenes de información por lo cual se hace imprescindible contar con herramientas especializados para el análisis de datos de gran envergadura. El camino tradicional es utilizar algún potente software corporativo como: Hadoop, MongoDB, Storm, etc. Herramientas que demandan un hadware altamente enriquecido y también un alto consumo energético. Este proyecto pretende ofrecer una alternativa viable al enfoque clásico. Buscamos, en base a algoritmos de gran rendimiento empírico y al diseño de estructuras de datos especializadas para representar grandes datasets, construir algoritmos eficientes para big data.

En la últimas décadas la Computación de Alto Rendimiento (HPC) ha sido ampliamente utilizada en la construcción de programas veloces, buscando potenciar los cálculos dentro de sistemas informáticos que involucran cómputos complejos. Otro enfoque que apunta al mismo objetivo, de mejorar los rendimientos en los algoritmos actuales, son las Estructuras de Datos Compactas (CDS). Estas estructuras están diseñadas para requerir menos espacio que sus representaciones explícitas en memoria y ofrecen rápidas operaciones de consulta sobre los datos originales.

El principal objetivo de este proyecto es diseñar algoritmos optimizados en base a técnicas de HPC y CDS para big data. Nos enfocamos en diseñar este tipo de algoritmos, los cuales pueden aplicarse a diversos problemas computacionales y de optimización, como Data Science. Además, esta propuesta se alinea con la primera competencia sello de la UACh, cuyo compromiso es con el conocimiento, a través de buenos y eficientes algoritmos; la naturaleza, a través de la reducción en la huella de carbono en la implementación de algoritmos que operan sobre big data; y el desarrollo sustentable, a través de mejoras en el proceso productivo y puesta en funcionamiento del software resultante.