我们经常需要对 CSV 和 JSON 数据进行高级处理，以获得更有用的信息或更好的数据分析结果。例如，我们可能需要从一个大型的数据集中提取特定的数据，过滤掉不需要的信息，或者将数据转换为其他格式。这些操作需要使用一些高级的技术和工具来完成。

在使用 Python 批量处理 Excel 时经常需要 批量读取数据，常见的方式是结合 glob 模块，可以实现将当前文件夹下的所有csv批量读取，并且 合并到一个大的 DataFrame 中 但是这样要求读取的每一个csv文件格式、列名都是一样的。 如果想要 将每一个csv独立的进行读取 ...

爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种： 文件：txt、csv、excel、json等，保存数据量小。 关系型数据库：mysql、oracle等，保存数据量大。 非关系型数据库：Mongodb、Redis等键值对形式存储数据，保存数据量大。