Numpy,Pandas 是 Python 数据处理中经常用到的两个框架, 都是采用 C 语言编写, 所以运算速度快. Matplotlib 是 Python 的的画图工具, 可以把之前处理后的数据通过图像绘制出来. 之前只是看过语法, 没有系统学习总结过, 本博文总结了这三个框架的 API.
以下是这三个框架的的简单介绍和区别:
Numpy: 经常用于数据生成和一些运算
Pandas: 基于 Numpy 构建的, 是 Numpy 的升级版本
Matplotlib:Python 中强大的绘图工具
Numpy
Numpy 快速入门教程可参考: Numpy tutorial https://docs.scipy.org/doc/numpy/user/quickstart.html
Numpy 属性
ndarray.ndim: 维度
ndarray.shape: 行数和列数, 例如 (3, 5)
ndarray.size: 元素的个数
ndarray.dtype: 元素类型
Numpy 创建
array(object, dtype=None): 使用 Python 的 list 或者 tuple 创建数据
zeors(shape, dtype=float): 创建全为 0 的数据
ones(shape, dtype=None): 创建全为 1 的数据
empty(shape, dtype=float): 创建没有初始化的数据
arange([start, ]stop, [step, ]dtype=None): 创建固定间隔的数据段
linspace(start, stop, num=50, dtype=None): 在给定的范围, 均匀的创建数据
Numpy 运算
加, 减: a + b,a - b
乘: b*2,10*np.sin(a)
次方: b**2
判断: a<35, 输出 True 或 False 的数组
矩阵乘: np.dot(A,B) 或 A.dot(B)
其他:+=,-+,sin,cos,exp
Numpy 索引
数组索引方式: A[1, 1]
切片: A[1, 1:3]
迭代: for item in A.flat
Numpy 其他
reshape(a, newshape): 改变数据形状, 不会对原始数据进行修改, 返回一组新数据
resize(a, new_shape): 改变数据形状, 会对原始数据进行修改, 不返回数据
ravel(a): 将成一维返回
vstack(tup): 上下合并
hstack(tup): 左右合并
hsplit(ary, indices_or_sections): 水平分割 n 份
vsplit(ary, indices_or_sections): 垂直分割 n 份
copy(a): 深度拷贝
Pandas
Pandas 快速入门教程可参考: 10 Minutes to pandas http://pandas.pydata.org/pandas-docs/stable/10min.html#minutes-to-pandas
Pandas 数据结构
Pandas 的数据结构有两种: Series 和 DataFrame.
Series: 索引在左边, 值在右边. 创建方式如下:
- In [4]: s = pd.Series([1,3,5,np.nan,6,8])
- In [5]: s
- Out[5]:
- 0 1.0
- 1 3.0
- 2 5.0
- 3 NaN
- 4 6.0
- 5 8.0
- dtype: float64
DataFrame: 是一个表格型的数据结构, 既有行索引也有列索引, 它可以被看做由 Series 组成的大字典. 创建方式如下:
- In [6]: dates = pd.date_range('20130101', periods=6)
- In [7]: dates
- Out[7]:
- DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
- '2013-01-05', '2013-01-06'],
- dtype='datetime64[ns]', freq='D')
- In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
Pandas 查看数据
index: 索引
columns: 列索引
values: 值
head(n=5): 返回前 n 项数据
tail(n=5): 返回后 n 项数据
describe(): 打印出数据的数量, 平均值等各项数据
sort_index(axis=1, ascending=False): 根据索引排序
sort_values(by='B'): 根据索引值排序
Pandas 选择数据
数组选择方式: df['A']
切片选择方式: df[0:3] 或 df['20130102':'20130104']
根据标签选择: df.loc['20130102':'20130104',['A','B']]
根据位置选择: df.iloc[3:5,0:2]
混合选择: df.ix[:3,['A','C']]
条件判断选择: df[df.A> 0]
Pandas 处理丢失数据
删除丢失数据的行: df.dropna(how='any')
填充丢失数据: df.fillna(value=5)
数据值是否为 NaN:pd.isna(df1)
Pandas 合并数据
pd.concat([df1, df2, df3], axis=0): 合并 df
pd.merge(left, right, on='key'): 根据 key 字段合并
df.append(s, ignore_index=True): 添加数据
Pandas 导入导出
df.to_csv('foo.csv'): 保存到 csv 文件
pd.read_csv('foo.csv'): 从 csv 文件读取
df.to_excel('foo.xlsx', sheet_name='Sheet1'): 保存到 excel 文件
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA']): 从 excel 文件读取
Matplotlib
这里只介绍最简单的出图方式:
- import pandas as pd
- import numpy as np
- import matplotlib.pyplot as plt
- # 随机生成 1000 个数据
- data = pd.Series(np.random.randn(1000),index=np.arange(1000))
- # 为了方便观看效果, 我们累加这个数据
- data.cumsum()
- # pandas 数据可以直接观看其可视化形式
- data.plot()
- plt.show()
来源: https://juejin.im/entry/5ae842636fb9a07abf724da7