Python使用Pandas读取数据库很慢，应该如何提速？(python使用del保留字定义一个函数)

谢邀！

Pandas编程库对数据科学界来说是一份天赐的礼物。无论你问哪一个数据科学家，他们是怎样使用Python处理他们的数据集，他们无疑都会谈到Pandas。

Pandas是一个伟大的编程库的缩影:简单、直观、功能广泛。

然而，对数据科学家的Pandas数据框进行数千甚至数百万次的计算，却仍然是一项挑战。你不能只是将数据放入编写Python for循环语句中，并期望在合理的时间内处理你的数据。

pandas是为一次性处理整个行或列的矢量化操作而设计的，循环在每个单元格、行或列中，但并不是设计使用库的方式。因此，在使用Pandas时，你应该考虑高度可并行化的矩阵运算法。

本指南将教你如何使用Pandas，它是被设计来使用和思考的矩阵运算。在此过程中，我将向你展示一些实用的且节省时间的技巧和窍门，这些技巧和窍门将使你的Pandas代码比那些可怕的Python for循环更快地运行！

我们的设置

在本教程中，我们将使用经典的Iris Flowers数据集。 让我们通过用seaborn加载的数据集并输入前5行来开始滚动。

现在让我们构建一个基线，用Python for循环来测量我们的速度。我们将通过循环每一行来设置要在数据集上执行的计算，然后测量整个操作的速度。这将为我们提供一个基线，看看我们的新优化能在多大程度上帮助我们摆脱困境。

在上面的代码中，我们创建了一个基本函数，它使用的是If-Else语句。我们编写了一个for循环，通过循环dataframe对每一行应用函数，然后测量循环的总运行时间。

在我的i7-8700k计算机上，循环运行5次平均需要0.01345秒。

循环语句.iterrows（）

这是最简单但非常有价值的，可以加速使用Pandas内置的.iterrows（）函数。

当我们在上一节中编写for循环时，我们使用了range（）函数。 然而，当我们在Python中循环大量值时，生成器往往要快得多。在本文中，你可以阅读更多关于生成器是如何工作的信息，并还会使其运行得更快。

Pandas的.iterrows（）函数在内部实现了一个生成器函数，它将在每次迭代时产生一行Dataframe。更确切地说，.iterrows（）为DataFrame中的每一行产生（index, Series）元组。 这实际上与在原始Python中使用enumerate（）之类的东西相同，但运行速度要快得多。

下面我们修改了代码，使用.iterrows（）而不是常规的for循环。 在我上一节用于测试的完全相同的机器上，平均运行时间为0.005892秒 - 加速2.28倍！

使用.apply（）完全删除循环

.iterrows（）函数给我们带来了很大的提升速度，但是我们还远远没有完成。请始终记住，当使用专为矢量操作设计的库时，可能有一种方法可以在没有for循环的情况下最有效地完成任务。

为我们提供此功能的Pandas功能是.apply（）函数。我们的function.apply（）接受另一个函数作为其输入，并沿着DataFrame的轴(行、列等)应用它。 在我们传递函数的情况下，lambda通常可以方便地将所有内容打包在一起。

在下面的代码中，我们已经完全用.apply（）和lambda函数替换了我们的for循环来打包我们想要的计算。在我的机器上，此代码的平均运行时间为0.0020897秒 ，比我们原来的for循环速度快了6.44倍。

apply()之所以这么快，是因为它在内部尝试了Cython迭代器。如果你的函数恰好针对Cython进行了优化，那么.apply（）将为您带来更大的速度。还有额外的一点好处是，使用内置函数可以生成更干净、更易读的代码。

最后

前面我提到过，如果你正在使用一个为向量化操作设计的库，那么你应该始终寻找一种不使用for循环去进行计算的方法。

同样，有许多以这种方式设计的库，包括pandas，将具有方便的内置函数，可以执行你正在寻找的精确计算，并且速度更快。

来自Pandas的.cut（）函数将一组bin定义为输入，这些bin定义了If-Else的每个范围和每一组标签，这些标签定义了每个范围返回的值。 然后它执行我们使用compute_class（）函数，且手动编写的完全相同的操作。

查看下面的代码，了解.cut（）的工作原理。 我们再次获得了更清晰、更易读的代码所带来的好处。 最后，.cut（）函数平均运行0.001423秒 ， 比原来的for循环快了9.39倍！

更多有关人工智能的资讯、深度报道、采访欢迎关注AI中国，无论你是小白还是大神，你想要的这里都有！