做网站要实名吗,怎样给一个公司做网站,网站建设的词,南京微信网站建设Python的pandas模块中数据框这种数据类型#xff0c;可以通过文件导入函数#xff0c;将磁盘上的csv、execl等类型的文件装入内存#xff0c;并生成数据框的格式#xff0c;以方便后续使用pandas的专有方法进行处理。
6、DataFrame数据输导入导出方法
Pandas常用的读取数…Python的pandas模块中数据框这种数据类型可以通过文件导入函数将磁盘上的csv、execl等类型的文件装入内存并生成数据框的格式以方便后续使用pandas的专有方法进行处理。
6、DataFrame数据输导入导出方法
Pandas常用的读取数据的方法函数
pd.read_csv(filename)从csv文件导入数据默认分隔符为“,pd.read_table(filename)从文本文件导入数据默认分隔符为制表符pd.read_excel(filename)从Excel文件导入数据pd.read_sql(query,connection_object)从SQL表/库中导入数据pd.read_json(json_string)从json文件导入数据pd.read_html(url)解析url、字符串或者HTML文件提取数据表格pd.DataFrame(dict)从字典对象中读入数据
在读取的函数中都有很多参数如函数pd.read_csv的格式如下
pd.read_csv(filepath_or_buffer, sep,, headerinfer, namesNone, index_colNone, usecolsNone, dtypeNone, skiprowsNone, nrowsNone, na_valuesNone, keep_default_naTrue, na_filterTrue, verboseFalse, skip_blank_linesTrue, parse_datesFalse, infer_datetime_formatFalse, date_parserNone, dayfirstFalse, cache_datesTrue, iteratorFalse, chunksizeNone, compressioninfer, thousandsNone, decimal., lineterminatorNone, quotechar, quoting0, doublequoteTrue, escapecharNone, commentNone, encodingNone, dialectNone, error_bad_linesTrue, warn_bad_linesTrue, delim_whitespaceFalse, low_memoryTrue, memory_mapFalse, float_precisionNone)
这个函数参数太多了下面将常用的或者比较重要的参数来说明filepath_or_buffer: 这是要读取的CSV文件的路径或者类似文件的对象可以是本地文件也可以是网络链接。
sep: 这是指定CSV文件中每一列数据之间的分隔符默认是逗号但也可以是其他符号比如制表符 。
header: 这是指定CSV文件中哪一行作为列名默认是infer表示自动推断如果没有列名可以设置为None。
names: 这是指定列名的列表如果header为None那么可以用这个参数来给每一列命名。
index_col: 这是指定哪一列或者哪几列作为DataFrame的索引默认是None表示不使用任何列作为索引。usecols: 这是指定要读取哪些列的数据默认是None表示读取所有列可以用列名或者位置来指定。
dtype: 这是指定每一列数据的类型默认是None表示自动推断可以用字典来映射每一列的类型比如{a: int, b: float}。
skiprows: 这是指定要跳过哪些行不读取默认是None表示不跳过任何行可以用整数或者列表来指定。
nrows: 这是指定要读取多少行的数据默认是None表示读取所有行可以用整数来指定。
na_values: 这是指定哪些值要被视为缺失值默认是None表示只有空值被视为缺失值可以用字符串或者列表来指定。
keep_default_na: 这是指定是否保留默认的缺失值默认是True表示保留如果设置为False表示只有na_values中指定的值才被视为缺失值。
na_filter: 这是指定是否过滤掉缺失值默认是True表示过滤掉如果设置为False表示不过滤掉。
verbose: 这是指定是否显示详细的信息默认是False表示不显示如果设置为True表示显示。
skip_blank_lines: 这是指定是否跳过空白行默认是True表示跳过如果设置为False表示不跳过。
parse_dates: 这是指定是否解析日期格式的数据默认是False表示不解析如果设置为True或者列表或者字典表示解析。
infer_datetime_format: 这是指定是否推断日期格式的数据默认是False表示不推断如果设置为True表示推断。
date_parser: 这是指定用来解析日期格式的数据的函数默认是None表示用内置的解析器可以用自定义的函数来指定。
dayfirst: 这是指定日期格式中是否先写日再写月默认是False表示不是如果设置为True表示是。
cache_dates: 这是指定是否缓存日期格式的数据默认是True表示缓存如果设置为False表示不缓存。
iterator: 这是指定是否返回一个可迭代的对象默认是False表示不返回如果设置为True表示返回。
chunksize: 这是指定每次迭代返回的行数默认是None表示不迭代如果设置为整数表示每次迭代返回的行数。
compression: 这是指定CSV文件是否压缩默认是infer表示自动推断可以用字符串来指定压缩方式比如gzip或者zip。
thousands: 这是指定千位分隔符默认是None表示没有千位分隔符可以用字符串来指定千位分隔符比如,或者.。
decimal: 这是指定小数点符号默认是.表示用点作为小数点可以用字符串来指定小数点符号比如,或者.。
lineterminator: 这是指定行终止符默认是None表示用操作系统默认的行终止符可以用字符串来指定行终止符比如 或者 。
quotechar: 这是指定引号字符默认是表示用双引号作为引号字符可以用字符串来指定引号字符比如或者。
quoting: 这是指定引号规则默认是0表示最小化引号使用可以用整数或者csv模块中的常量来指定引号规则比如csv.QUOTE_MINIMAL或者csv.QUOTE_ALL。
doublequote: 这是指定是否双重引号内部的引号字符默认是True表示双重引号内部的引号字符如果设置为False表示用escapechar来转义内部的引号字符。
escapechar: 这是指定转义字符默认是None表示没有转义字符可以用字符串来指定转义字符比如或者/。
comment: 这是指定注释符号默认是None表示没有注释符号可以用字符串来指定注释符号比如#或者;。
encoding: 这是指定CSV文件的编码方式默认是None表示用系统默认的编码方式可以用字符串来指定编码方式比如utf-8或者gbk。
dialect: 这是指定CSV文件的方言默认是None表示用标准的CSV方言可以用字符串或者csv模块中的Dialect类来指定方言。
error_bad_lines: 这是指定是否报错并跳过错误格式的行默认是True表示报错并跳过错误格式的行。如果设置为False, 表示不报错并忽略错误格式的行。
warn_bad_lines: 这是指定是否显示错误格式的行的警告信息默认是True, 表示显示错误格式的行的警告信息。如果设置为False, 表示不显示错误格式的行的警告信息。
delim_whitespace: 这是指定是否用空白字符作为分隔符默认是False, 表示不用空白字符作为分隔符。如果设置为True, 表示用空白字符作为分隔符并且忽略sep参数。
low_memory: 这是指定是否在内存中分块读取数据默认是True, 表示在内存中分块读取数据。如果设置为False, 表示一次性读取整个文件到内存中。
memory_map: 这是指定是否使用内存映射文件来读取数据默认是False。
其实在实际使用中大部分参数使用缺省值即可。常用的参数包括读取的文件、分隔符、文件编码Python 中用得比较多的两种编码格式是UTF-8和gbk默认编码格式是UTF-8、以及行数的指定等。
读入csv文件
import os
mypathrD:\_____newyear_willdo\py\gp dfpd.read_csv(os.path.join(mypath\\Wly_Data.csv),encodingutf-8) ## 数据导出为csv文件
df
输出 用skiprows参数来跳过一些行不读取比如第二行到第五行
df pd.read_csv(Wly_Data.csv, sep;, header0, skiprows[1, 2, 3, 4])
用nrows参数来限制读取的行数比如只读取前100行
df pd.read_csv(Wly_Data.csv, sep;, header0, nrows100)
举例使用read_excel()方法导入文件 import pandas as pd
pd.read_excel(stu_data.xlsx)
导入.xlsx文件时指定导入哪个Sheet
1. pd.read_excel(stu_data.xlsx,sheet_nameTarget)
2. pd.read_excel(stu_data.xlsx,sheet_name0)
导入.xlsx文件时通过index_col指定行索引
pd.read_excel(stu_data.xlsx,sheet_name0,index_col0)
导入.xlsx文件时通过header指定列索引
pd.read_excel(stu_data.xlsx,sheet_name0,header1)
有时候本地文件的列数太多而我们又不需要那么多列时我们就 可以通过设置usecols参数来指定要导入的列。
pd.read_excel(stu_data.xlsx,usecols[1,2,3]) 常用的写入文件的方法函数
pd.to_csv(filename) 导出数据至csv文件pd.to_excel(filename) 导出数据至excel文件pd.to_sql(table_name,connection_object) 导出数据至SQL表pd.to_json(json_string) 导出数据为json格式pd.to_html(url) 导出数据为html文件pd.to_clipboard(filename) 导出数据到剪切板第一个参数为写入文件路径和文件名seq参数用于设置写入文件的分隔符header参数表示写入文件是否写入标题行默认值为True,index参数表示是否写入行索引默认值为True。
函数to_excel参数
DataFrame.to_excel(excel_writer, sheet_nameSheet1, na_rep, float_formatNone, columnsNone, headerTrue, indexTrue, index_labelNone, startrow0, startcol0, engineNone, merge_cellsTrue, encodingNone, inf_repinf, verboseTrue, freeze_panesNone) excel_writer文件路径或现有的ExcelWriter。sheet_name指的是包含DataFrame的工作表的名称。na_repr缺失数据的表示。float_format这是一个可选参数用于格式化浮点数的字符串。columns指定要写入的列。header写出列名。如果给定字符串的列表则假定它是列名的别名。index写入索引。index_label指定索引列的列标签。如果未指定并且标题和索引为True则使用索引名称。如果DataFrame使用MultiIndex则应给出一个序列。startrow默认值为0。它指的是要将DataFrame倾倒到的左上角单元格行。startcol默认值为0。它指的是要将DataFrame倾倒到的左上角单元格列。engine这是一个可选参数用于指定要使用的引擎可以是openpyxl或xlsxwriter。merge_cells它返回布尔值其默认值为True。将MultiIndex和分层行写为合并单元格。encoding这是一个可选参数用于对生成的excel文件进行编码。仅对xlwt是必需的。inf_rep这也是一个可选参数默认值为inf。通常表示无穷大。verbose它返回一个布尔值。默认值为True。用于在错误日志中显示更多信息。freeze_panes这也是一个可选参数用于指定要冻结的基于一的最底行和最右列。
其实在这里面常用的参数就几个其他可以使用缺省值
df.to_csv(
filepath_or_buffer :要保存的文件路径 sep 分隔符
columns :需要导出的变量列表
header True :指定导出数据的新变量名可直接 提供 list index True :是否导出索引 mode w : Python 写模式,读写方式r,r , w , w , a , a encoding utf-8 :默认. 导出的文件编码格式 ) 举例输出文件
wly_df为五粮液的股票价格和涨跌情况。
wly_df.to_excel(out_wly.xlsx, indexFalse)
本章节主要介绍了多种数据文件装入内容成为数据框dataFrame的方法供查询参考重点介绍了读入csv文件的函数pd.read_csv的使用和各种参数的含义以及输出函数pd.to_excel的使用方法和参数含义同时通过五粮液股票信息数据作为例子导入和导出更便于理解。
码字不易欢迎关注、点赞和收藏。如果文章能给你带来知识很力量欢迎留言和讨论。你的支持是我前进的动力。
