Python pandas常用函数，具体介绍如下。
依赖模块
import pandas as pd
数据加载
pandas加载csv文件
read_csv(filepath_or_buffer, sep=’, ‘, delimiter=None, header=’infer’, names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression=’infer’, thousands=None, decimal=b’.’, lineterminator=None, quotechar=’”’, quoting=0, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, skipfooter=0, skip_footer=0, doublequote=True, delim_whitespace=False, as_recarray=None, compact_ints=None, use_unsigned=None, low_memory=True, buffer_lines=None, memory_map=False, float_precision=None)
read_csv常用参数
- header=None 指定第几行作为列名(忽略注解行)，如果没有指定列名，默认header=0; 如果指定了列名header=None
- names=指定列名，如果文件中不包含header的行，应该显性表示header=None，['A', 'B', 'C'] 自定义列名
- index_col=['A', 'B'...] 给索引列指定名称，如果是多重索引，可以传list
- skiprows=[0,1,2] 忽略某几行或者从开始算起的几行，默认从文件头0开始
- skip_footer从文件尾开始
- nrows=N 需要读取的行数，前N行
- chunksize=M 返回迭代类型TextFileReader，每M条迭代一次
- sep='|'指定分割符，默认','，如果不指定参数，会自动解析，C引擎不能自动检测分隔符，但Python解析引擎可以
- skip_blank_lines=False 默认为True，跳过空行，如果选择不跳过，会填充NaN
- converters={'col1', func} 对选定列使用函数func转换，通常表示编号的列会使用（避免转换成int）
- encoding: 编码方式
- dtype: {‘a’: np.float64, ‘b’: np.int32} 指定数据类型
import pandas as pd
csv_data = pd.read_csv('pandas.csv', sep='|')
输出
name,age,sex
0 Toma,15,男
1 Tomb,18,女
2 Tomc,16,男
3 Tomd,15,男
pandas加载json文件
read_json(path_or_buf=None, orient=None, typ='frame', dtype=True,
convert_axes=True, convert_dates=True, keep_default_dates=True,
numpy=False, precise_float=False, date_unit=None, encoding=None,
lines=False, chunksize=None, compression='infer')
read_json参数
- path_or_buf 就是json文件路径或者json格式的字符串。
orient 是表明预期的json字符串格式。orient的设置有以下几个值：split/index/columns/values
import pandas as pd
json_data=pd.read_json('dump.json',orient='values',encoding='utf-8')
输出
1314 9527
age 15 18
name Jom Tim
sex 男 女
pandas加载excel文件
read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None,names=None, parse_cols=None, parse_dates=False,date_parser=None,na_values=None,thousands=None, convert_float=True, has_index_names=None, converters=None,dtype=None, true_values=None, false_values=None, engine=None, squeeze=False, **kwds)
read_excel的主要参数
- io : excel文档路径
- sheetname : 读取的excel指定的sheet页
- header :设置读取的excel第一行是否作为列名称
- skiprows : 省略指定行数的数据
- skip_footer :省略从尾部数的int行数据
- index_col :设置读取的excel第一列是否作为行名称
- names : 设置每列的名称，数组形式参数
import pandas as pd
data = pd.read_excel('execl.xlsx')
print data.head(5)
输出
Format Type Data Description Reader Writer
0 text CSV read_csv to_csv
1 text JSON read_json to_json
2 text HTML read_html to_html
3 text Local clipboard read_clipboard to_clipboard
4 binary MS Excel read_excel to_excel
数据预处理
数据筛选
数据运算
数据统计与分析
閱讀更多 測試開發技術棧 的文章
