pandas读取数据是数据科学和数据分析中的基础操作，它提供了灵活高效的方式从各种数据源导入数据，并将其转换为易于处理的DataFrame结构，无论是简单的CSV文件、Excel表格，还是数据库、网页数据，pandas都能通过内置函数轻松实现数据读取，为后续的数据清洗、转换和分析奠定基础，本文将详细介绍pandas读取数据的常用方法、参数配置、数据源类型及注意事项,帮助用户全面掌握这一核心技能。
读取文本文件
文本文件是常见的数据存储格式，pandas主要通过read_csv()和read_table()函数读取这类文件。read_csv()默认以逗号分隔数据，而read_table()默认使用制表符分隔，但两者可通过sep参数自定义分隔符，读取一个逗号分隔的CSV文件，可使用pd.read_csv('data.csv')；若文件以分号分隔，则需指定sep=';'。read_csv()还支持处理无表头文件（通过header=None参数）、自定义列名（names参数）、跳过特定行（skiprows参数）等场景，对于编码问题，可通过encoding参数指定，如encoding='utf8'或encoding='gbk'，避免中文乱码，若文件中包含日期时间数据，可使用parse_dates参数自动解析，例如parse_dates=['date_column'],将指定列转换为datetime类型。
读取Excel文件
Excel文件是办公场景中常用的数据格式，pandas通过read_excel()函数实现读取，该函数依赖openpyxl或xlrd引擎，需提前安装相应库（如pip install openpyxl），读取Excel文件时，可通过sheet_name参数指定工作表名称或索引，例如sheet_name='Sheet1'或sheet_name=0（默认第一个工作表），若需读取特定列或行，可通过usecols和skiprows参数实现，如usecols=['A', 'C']仅读取A列和C列，对于合并单元格或复杂格式，Excel文件可能需要预处理，否则pandas可能无法正确解析数据。read_excel()支持dtype参数指定列的数据类型,避免因类型推断导致的性能问题。
读取数据库数据
pandas可直接从关系型数据库（如MySQL、PostgreSQL、SQLite）读取数据，需结合SQLAlchemy库或各数据库的专用连接器，以MySQL为例，首先安装PyMySQL库（pip install PyMySQL），然后创建数据库连接字符串，使用pd.read_sql_table()读取表数据，或通过pd.read_sql_query()执行自定义SQL查询。
import pandas as pd
from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://user:password@localhost/dbname')
df = pd.read_sql_table('table_name', engine)
对于大型数据库，可通过chunksize参数分块读取数据，避免内存溢出，SQLite作为轻量级数据库，可直接通过sqlite3模块连接,无需额外安装驱动。
读取其他格式数据
除了常见文本和数据库文件，pandas还支持读取JSON、HTML、Clipboard（剪贴板）等多种格式，读取JSON文件时，使用pd.read_json()，可通过orient参数指定JSON格式（如'records'、'index'），对于网页中的表格数据，pd.read_html()可自动解析HTML中的<table>标签,返回一个DataFrame列表。
tables = pd.read_html('https://example.com/table_page')
df = tables[0] # 获取第一个表格
pd.read_clipboard()可直接从剪贴板读取数据，适用于从Excel或网页复制粘贴的场景，对于HDF5文件，pd.read_hdf()支持高效存储和读取结构化数据；对于Parquet格式，pd.read_parquet()适用于大数据场景，具有压缩率高、读取速度快的特点。
参数配置与性能优化
pandas读取数据时，合理配置参数可提升效率和准确性。dtype参数可显式指定列数据类型，减少内存占用（如dtype={'column1': 'int32', 'column2': 'category'}）；na_values参数可自定义缺失值标识（如na_values=['NA', 'null', 'N/A']）；nrows参数可限制读取行数，用于快速预览数据，对于大型文件，可通过low_memory=False避免内存分块警告，但需注意潜在内存问题；或使用iterator=True和get_chunk()方法分块处理。parse_dates参数结合date_parser可自定义日期解析函数,处理复杂日期格式。
常见问题与解决方案
在读取数据时，用户常遇到文件路径错误、编码问题、数据类型不符等挑战，针对文件路径问题，建议使用绝对路径或os.path模块处理路径兼容性；编码问题可通过encoding参数尝试不同编码（如utf8、latin1）；数据类型不符可通过dtype或转换函数（如astype()）修正，若文件包含合并单元格，需提前清理数据或使用skipfooter参数跳过无效行，对于分隔符不一致的情况，可通过sep='s+'匹配任意空白分隔符。
相关问答FAQs
Q1: 如何读取大型CSV文件时避免内存不足？
A1: 可通过以下方法优化：（1）使用chunksize参数分块读取，如pd.read_csv('large_file.csv', chunksize=10000)，逐块处理数据；（2）仅读取必要的列，通过usecols参数指定列名或索引；（3）指定dtype参数减少内存占用，如将数值列转为int32；（4）使用low_memory=False关闭内存分块警告（需确保数据类型一致）。
Q2: 读取Excel文件时如何处理合并单元格？
A2: 合并单元格会导致pandas读取时出现NaN值，解决方案包括：（1）在Excel中手动取消合并单元格并填充数据；（2）使用openpyxl库预处理Excel文件，合并单元格填充为特定值；（3）读取后使用fillna()方法填充缺失值，或结合groupby和ffill()等函数填充逻辑值，若合并单元格仅用于格式，可忽略并直接读取数据,但需确保数据完整性。
原创文章，发布者：酷盾叔，转转请注明出处：https://www.kd.cn/ask/310665.html
