Wes McKinney是纽约的一名数据分析高手和企业主。在2007年获得MIT的数学学士学位之后，他到位于康涅狄格州格林威治市（Greenwich，CT）的AQR Capital Management公司从事定量金融方面的工作。由于不满那些数据分析工具的各种不好用，他开始学习Python，并于20……

O'Reilly Media通过图书、杂志、在线服务、调查研究和会议等方式传播创新知识。自1978年开始，O'Reilly一直都是前沿发展的见证者和推动者。超级极客们正在开创着未来，而我们关注真正重要的技术趋势——通过放大那些“细微的信号”来刺激社会对新科技的应用。作为技术社区中活跃的参与者，O'R……

针对科学计算领域的Python开源库生态系统在过去10年中得到了飞速发展。2011年底，我深深地感觉到，由于缺乏集中的学习资源，刚刚接触数据分析和统计应用的Python程序员举步维艰。针对数据分析的关键项目（尤其是NumPy、matplotlib和pandas）已经很成熟了，也就是说，写一本专门介绍……

本书讲的是利用Python进行数据控制、处理、整理、分析等方面的具体细节和基本要点。同时，它也是利用Python进行科学计算的实用指南（专门针对数据密集型应用）。本书重点介绍了用于高效解决各种数据分析问题的Python语言和库。本书没有阐述如何利用Python实现具体的分析方法。 当书中出现“数据”……

本书将要向你介绍的是用于高效处理数据的Python工具。虽然读者各自工作的最终目的千差万别，但基本都需要完成以下几个大类的任务： 与外界进行交互 读写各种各样的文件格式和数据库。 准备 对数据进行清理、修整、整合、规范化、重塑、切片切块、变形等处理以便进行分析。 转换 对数据集做一些数学和统计运算以……

为无为，事无事，味无味。大小多少。报怨以德。 图难于其易，为大于其细； 天下难事，必作于易；天下大事，必作于细。 ——老子 人们经常问我，“你的Python开发环境是什么？”我的回答基本永远都是“IPython外加一个文本编辑器”。如果想要得到更加高级的图形化工具和代码自动完成功能，你也可以考虑用一……

NumPy（Numerical Python的简称）是高性能科学计算和数据分析的基础包。它是本书所介绍的几乎所有高级工具的构建基础。其部分功能如下： ·ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。 ·用于对整组数据进行快速运算的标准数学函数（无需编写循环）。 ·用于……

pandas是本书后续内容的首选库。它含有使数据分析工作变得更快更简单的高级数据结构和操作工具。pandas是基于NumPy构建的，让以NumPy为中心的应用变得更加简单。 先介绍一点背景。我是在2008年早期还在AQR（一家定量投资管理公司）任职期间开始着手构建pandas的。那时候，没有任何一个……

如果不能将数据导入导出Python，本书所介绍的这些工具就没什么大用。我打算着重介绍pandas的输入输出对象，虽然别的库中也有不少以此为目的的工具。例如，NumPy提供了一个低级但异常高效的二进制数据加载和存储机制，包括对内存映射数组的支持等。详细内容请参阅第12章。 输入输出通常可以划分为几个大……

数据分析和建模方面的大量编程工作都是用在数据准备上的：加载、清理、转换以及重塑。有时候，存放在文件或数据库中的数据并不能满足你的数据处理应用的要求。许多人都选择使用通用编程语言（如Python、Perl、R或Java）或UNIX文本处理工具（如sed或awk）对数据格式进行专门处理。幸运的是，pan……

绘图是数据分析工作中最重要的任务之一，是探索过程的一部分，例如，帮助我们找出异常值、必要的数据转换、得出有关模型的idea等。此外，还可以利用诸如d3.js（http://d3js.org/）之类的工具为Web应用构建交互式图像。Python有许多可视化工具（参见本章末尾），但是我主要讲解matpl……

对数据集进行分组并对各组应用一个函数（无论是聚合还是转换），这是数据分析工作中的重要环节。在将数据集准备好之后，通常的任务就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。 关系型数据库和SQL（Struct……

不管在哪个领域中（如金融学、经济学、生态学、神经科学、物理学等），时间序列（time series）数据都是一种重要的结构化数据形式。在多个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的，也就是说，数据点是根据某种规律定期出现的（比如每15秒、每5分钟、每月出现一次）。……

从2005年开始，Python在金融行业中的应用越来越多，这主要得益于众多成熟的函数库（NumPy和pandas）以及大量经验丰富的Python程序员。许多机构都发现Python不仅非常适合成为交互式的分析环境，也非常适合开发稳健的系统，而且所需的时间比Java或C++少得多。Python还是一种非……

NumPy的ndarray提供了一种将同质数据块（可以是连续或跨越的，稍后将详细讲解）解释为多维数组对象的方式。正如你之前所看到的那样，数据类型（dtype）决定了数据的解释方式，比如浮点数、整数、布尔值等。 ndarray如此强大的部分原因是所有数组对象都是数据块的一个跨度视图（strided v……