哈喽大家好,相信小伙伴们在学习 python 数据分析的过程中或多或少都会听说或者使用过 pandas
pandas 是 python 的一个拓展库,常用于数据分析
今天咸鱼将介绍几个关于 pandas 导入数据的方法和技巧
从 URL 获取 CSV 数据
关于 pandas 导入 csv 数据,使用的是下面这个方法
但是这个方法可以通过 HTTP 从 URL 来获取 CSV 数据
例如下面的例子将展示如何通过 URL 获取 csv 文件
通过 URL 来获取 CSV 数据,可以省去了需要先将 CSV 文件保存在本地这一步骤
从网站获取 HTML table
pandas.read_html()
用于获取 HTML 文件中的 table 数据(即<table>
标签的表格数据)
我们看下面的例子
通过 pandas.read_html()
可以实现简易爬虫
JSON 数据格式化
有时候我们在处理 JSON 数据的时候,会发现 JSON 数据通常都是嵌套好多层
如果我们想要将 JSON 数据转换成表格数据,使其扁平化,我们可以用下面的方法来实现
看下面的例子
结果如下
接下来,让我们尝试读取更复杂的 JSON 数据,该数据嵌套了列表和字典
结果如下
剪贴板获取数据
pandas 的 read_clipboard()
方法可以获取存储在剪贴板上的任何数据
假设你将数据从网上要复制粘贴到本地,那么用 pandas 的 read_clipboard()
方法可以直接读取剪贴板的内容
默认情况下采取正则表达式\s+
作为分隔值的分隔符(即匹配一个或多个空格、制表符、换行符等空白字符作为分隔符),然后将剪贴板上的数据分割成表格数据