进阶版的Pandas数据分析神器：Polars（pandas工具）

进阶版的Pandas数据分析神器：Polars（pandas工具）

相信对于不少的数据分析从业者来说呢，用的比较多的是​​Pandas​​​以及​​SQL​​​这两种工具，​​Pandas​​​不但能够对数据集进行清理与分析，并且还能够绘制各种各样的炫酷的图表，但是遇到数据集很大的时候要是还使用​​Pandas​​来处理显然有点力不从心。

今天我就来介绍另外一个数据处理与分析工具，叫做​​Polars​​​，它在数据处理的速度上更快，当然里面还包括两种API，一种是​​Eager API​​​，另一种则是​​Lazy API​​​，其中​​Eager API​​​和​​Pandas​​的使用类似，语法类似差不太多，立即执行就能产生结果。喜欢本文记得收藏、关注、点赞。

【注】完整版代码、数据、技术交流，文末获取

而​​Lazy API​​​和​​Spark​​很相似，会有并行以及对查询逻辑优化的操作。

模块的安装与导入

我们先来进行模块的安装，使用​​pip​​命令

pip install polars

在安装成功之后，我们分别用​​Pandas​​​和​​Polars​​来读取数据，看一下各自性能上的差异，我们导入会要用到的模块

import pandas as pdimport polars as plimport matplotlib.pyplot as plt%matplotlib inline

用​​Pandas​​读取文件

本次使用的数据集是某网站注册用户的用户名数据，总共有360MB大小，我们先用​​Pandas​​​模块来读取该​​csv​​文件

%%time df = pd.read_csv("users.csv")df.head()

output

可以看到用​​Pandas​​​读取​​CSV​​​文件总共花费了12秒的时间，数据集总共有两列，一列是用户名称，以及用户名称重复的次数“n”，我们来对数据集进行排序，调用的是​​sort_values()​​方法，代码如下

%%time df.sort_values("n", ascending=False).head()

output

用​​Polars​​来读取操作文件

下面我们用​​Polars​​模块来读取并操作文件，看看所需要的多久的时间，代码如下

%%time data = pl.read_csv("users.csv")data.head()

output

可以看到用​​polars​​模块来读取数据仅仅只花费了730毫秒的时间，可以说是快了不少的，我们根据“n”这一列来对数据集进行排序，代码如下

%%timedata.sort(by="n", reverse=True).head()

output

对数据集进行排序所消耗的时间为1.39秒，接下来我们用polars模块来对数据集进行一个初步的探索性分析，数据集总共有哪些列、列名都有哪些，我们还是以熟知“泰坦尼克号”数据集为例

df_titanic = pd.read_csv("titanic.csv")df_titanic.columns

output

['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', ......]

和​​Pandas​​​一样输出列名调用的是​​columns​​方法，然后我们来看一下数据集总共是有几行几列的，

df_titanic.shape

output

(891, 12)

看一下数据集中每一列的数据类型

df_titanic.dtypes

output

[polars.datatypes.Int64, polars.datatypes.Int64, polars.datatypes.Int64, polars.datatypes.Utf8, polars.datatypes.Utf8, polars.datatypes.Float64,......]

填充空值与数据的统计分析

我们来看一下数据集当中空值的分布情况，调用​​null_count()​​方法

df_titanic.null_count()

output

我们可以看到“Age”以及“Cabin”两列存在着空值，我们可以尝试用平均值来进行填充，代码如下

df_titanic["Age"] = df_titanic["Age"].fill_nan(df_titanic["Age"].mean())

计算某一列的平均值只需要调用​​mean()​​方法即可，那么中位数、最大/最小值的计算也是同样的道理，代码如下

print(f'Median Age: {df_titanic["Age"].median()}')print(f'Average Age: {df_titanic["Age"].mean()}')print(f'Maximum Age: {df_titanic["Age"].max()}')print(f'Minimum Age: {df_titanic["Age"].min()}')

output

Median Age: 29.69911764705882Average Age: 29.699117647058817Maximum Age: 80.0Minimum Age: 0.42

数据的筛选与可视化

我们筛选出年龄大于40岁的乘客有哪些，代码如下

df_titanic[df_titanic["Age"] > 40]

output

最后我们简单地来绘制一张图表，代码如下

fig, ax = plt.subplots(figsize=(10, 5))ax.boxplot(df_titanic["Age"])plt.xticks(rotation=90)plt.xlabel('Age Column')plt.ylabel('Age')plt.show()

output

总体来说呢，​​polars​​​在数据分析与处理上面和​​Pandas​​模块有很多相似的地方，其中会有一部分的API存在着差异，感兴趣的童鞋可以参考其官网：https://pola.rs/

​

技术交流

欢迎转载、收藏、有所收获点赞支持一下！

目前开通了技术交流群，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。