这篇文章主要介绍了Python中Pandas库有什么用,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
要很好地理解pandas,关键之一是要理解pandas是一系列其他python库的包装器。主要的有Numpy、SQL alchemy、Matplot lib和openpyxl。
data frame的核心内部模型是一系列NumPy数组和pandas函数。
pandas利用其他库来从data frame中获取数据。例如,SQL alchemy通过read_sql和to_sql函数使用;openpyxl和xlsx writer用于read_excel和to_excel函数。而Matplotlib和Seaborn则用于提供一个简单的接口,使用诸如df.plot()这样的命令来绘制data frame中可用的信息。
您经常听到的抱怨之一是Python很慢,或者难以处理大量数据。通常情况下,这是由于编写的代码的效率很低造成的。原生Python代码确实比编译后的代码要慢。不过,像Pandas这样的库提供了一个用于编译代码的python接口,并且知道如何正确使用这个接口。
向量化操作
与底层库Numpy一样,pandas执行向量化操作的效率比执行循环更高。这些效率是由于向量化操作是通过C编译代码执行的,而不是通过本机python代码执行的。另一个因素是向量化操作的能力,它可以对整个数据集进行操作,而不只是对一个子数据集进行操作。
应用接口允许通过使用CPy 香港云主机thon接口进行循环来获得一些效率:
但是,大部分性能收益可以通过使用向量化操作本身获得,可以直接在pandas中使用,也可以直接调用它的内部Numpy数组。
当通过read_csv、read_excel或其他数据帧读取函数将数据帧加载到内存中时,pandas会进行类型推断,这可能是低效的。这些api允许您明确地利用dtypes指定每个列的类型。指定dtypes允许在内存中更有效地存储数据。
Dtypes是来自Numpy的本机对象,它允许您定义用于存储特定信息的确切类型和位数。
例如,Numpy的类型np.dtype(‘ int32 ‘)表示一个32位长的整数。pandas默认为64位整数,我们可以节省一半的空间使用32位:
pandas允许按块(chunk)加载数据帧中的数据。因此,可以将数据帧作为迭代器处理,并且能够处理大于可用内存的数据帧。
在读取数据源时定义块大小和get_chunk方法的组合允许panda以迭代器的方式处理数据,如上面的示例所示,其中数据帧一次读取两行。然后我们可以遍历这些块:
它的输出可以被提供到一个CSV文件,pickle,导出到数据库,等等…
感谢你能够认真阅读完这篇文章,希望小编分享的“Python中Pandas库有什么用”这篇文章对大家有帮助,同时也希望大家多多支持开发云,关注开发云行业资讯频道,更多相关知识等着你来学习!
本篇文章给大家分享的是有关UML中类之间的主要关系是怎样的,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。UML中,类与类之间的关系分为:关联,依赖,泛化,聚合,组合,实现关联: 体现的是类与类的实…
免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。