Pandas 使用一个二维的数据结构 DataFrame 来表示表格式的数据
DataFrame 有四个重要的属性:
index: 行索引.
columns: 列索引.
values: 值的二维数组.
name: 名字
data = pd.DataFrame(rec, columns = [u"姓名",u"业绩" ])
DataFrame 方法函数的第一个参数是数据源, 第二个参数 columns 是输出数据表的表头, 或者说是表格的字段名
DataFrame(sequence), 通过序列构建, 序列中的每个元素是一个字典
data.groupby([u'业绩']).sum() 以业务为分组统计某一列的总和 size(): 就是 count sum(): 分组求和
导出数据 csvdata.to_csv(u"D:\scripts\learn\Result.csv", index= True, header=[u'雇员', u'销售业绩'], encoding="utf_8_sig")
解决保存 CSV 文件后, 中文乱码问题. encoding="utf_8_sig"
Sorted = data.sort_values([u"业绩"], ascending=False) 以某列进行排序, 然后取前几的值 Sorted.head(3)
pd.read_csv('f:\1024.csv') 读取 CSV 文件
print df.head() 读取前几行数据, 默认 5
print df.dtypes 读物数据类型
print df.describe(include='all') 读取统计信息
print df.columns 打印出列的信息
print df.index 打印出行的索引信息
print df.T 行列互置
print df.ix[:, 0].head() ix[行, 列] 读取指定的行列数据, head() 默认读取前 5 行
df.drop(df.columns[[1, 2]], axis = 1).head() 删除指定的列
bric = pd.read_excel('/usr/test.xlsx') 处理 xlsx 文件
- print bric.loc['Br'] #读取行用函数. loc, 但显示是以列显示的
- # 显示'Br'这行的'language'的值有下面几种方法:
1. 一起选择
print bric.loc['Br','language']
2. 取列再取行
print bric['language'].loc['Br']
3. 取行再取列
print bric.loc['Br']['language']
4. 值就直接 ['列名']
print bric['language']
插入列: 直接 bric['要插入的列名']=[要插入的列表数据] ric['aa']=['123','kk','123','mm']
# 插入行: bric.loc['Afric']=[25,20,'english','aa']
数据清洗
loandata=pd.DataFrame(pd.read_excel('loandata.xlsx'))
1. 数据表中的重复值
loandata.duplicated() 判断重复值
loandata.drop_duplicates() 删除重复值
2. 数据表中的空值 / 缺失值
loandata.isnull() 空值 loandata['列名'].isnull().value_counts() #统计某个列的非空值数量
loandata.notnull() 非空值
空值有两种处理的方法, 第一种是使用 fillna 函数对空值进行填充, 可以选择填充 0 值或者其他任意值. 第二种方法是使用 dropna 函数直接将包含空值的数据删除
loandata.fillna(0) 填充空值
loandata.dropna() 删除空值
3. 数据间的空格
loandata['term']=loandata['term'].map(str.strip) 利用 strip 进行清查数据间的空格
loandata['term']=loandata['term'].map(str.upper) 大写
loandata['term']=loandata['term'].map(str.lower) 小写
loandata['term']=loandata['term'].map(str.title) 首字母大写
loandata['emp_length'].apply(lambda x: x. isalnum ()) 判断是否是数字
- loandata['emp_length'].apply(lambda x: x. isdigit ())
- loandata['emp_length'].apply(lambda x: x.isalpha())
4 更改数据格式
loandata['loan_amnt']=loandata['loan_amnt'].astype(np.int64)
6. 数据分组
- bins = [0, 5, 10, 15, 20]
- group_names = ['A', 'B', 'C', 'D']
- loandata['categories'] = pd.cut(loandata['open_acc'], bins, labels=group_names)
对某一列的值进行等级分类
7. 数据分列
grade_split = pd.DataFrame((x.split('-') for x in loandata.grade),index=loandata.index,columns=['grade','sub_grade']) 指定分列的数据行所有保持不变
loandata=pd.merge(loandata,grade_split,right_index=True, left_index=True) 合并数据
来源: http://www.bubuko.com/infodetail-2810357.html