¿Cómo se puede usar Python para el conjunto de datos o el manejo y análisis de marcos de datos?

Escribir la respuesta a su pregunta es bastante difícil, le recomiendo que revise algunos enlaces y enlaces a algunos libros que estoy agregando a la respuesta.

1. Introducción a las estructuras de datos
2. pandas.DataFrame – documentación de pandas 0.18.1
3. Un tutorial completo para aprender ciencia de datos con Python desde cero
4. http://shop.oreilly.com/product/ …

Espero que esto ayude.

Para manejar conjuntos de datos como “marcos de datos”, tiene dos opciones principales dentro de Python.

1. Pandas es una biblioteca de Python que se especializa en datos tabulares y su manipulación, y tiene numerosas funciones para hacer esto. Puede crear y administrar marcos de datos como objetos en memoria en una sola máquina. Estos marcos de datos se pueden crear leyendo datos de texto, csv y json entre otros tipos de archivos. Los marcos de datos tienen muchas operaciones que son de tipo SQL, como agrupar por y ordenar por, y las operaciones de marco de datos en Python y Pandas son bastante intuitivas. Los marcos de datos también pueden vincularse a bibliotecas como Scipy, Numpy y Matplotlib, que forman parte de la pila de ciencia de datos de Python. Esto brinda a los programadores de Python la capacidad de almacenar, manipular, analizar y visualizar datos en marcos de datos en máquinas individuales. También puede hacer aprendizaje automático en Scikit-Learn, que es una biblioteca madura de aprendizaje automático dentro de Python adecuada para conjuntos de datos pequeños y medianos. La misma abstracción de marco de datos utilizada por Pandas también se puede pasar a las funciones de aprendizaje automático de Scikit-Learn para construir y probar modelos.
2. Si está utilizando un clúster para analizar datos, especialmente conjuntos de datos grandes, puede aprovechar Pyspark. Pyspark se incluye con Apache Spark, que es un marco de procesamiento de datos distribuido. Junto con las bibliotecas nativas de Python (mencionadas en el n. ° 1) Pyspark también proporciona acceso a los paquetes MLLib, SQL y Graphx de Spark, lo que permite a los usuarios de Pyspark administrar grandes conjuntos de datos, convertirlos en formularios adecuados para el análisis y el aprendizaje automático. Si bien la visualización no es la fortaleza de Pyspark, las otras bibliotecas de visualización en Python como Matplotlib, Seaborn y Plotly se pueden usar para entregar algunas capacidades de visualización a Pyspark. Los marcos de datos de Pyspark también se pueden convertir en marcos de datos de Pandas desde Pyspark, que es otra característica interesante.

Python, por lo tanto, está muy bien equipado para manejar conjuntos de datos utilizando la abstracción del marco de datos y los métodos relacionados están bastante bien implementados, en bibliotecas nativas y en Apache Spark.