python request爬虫如何进行数据存储-开发者知识库平台

python request爬虫如何进行数据存储

python

1324

2024/12/11 9:22:52

栏目: 云计算

在Python中，使用requests库进行网络请求并将数据存储到文件或数据库中，可以通过以下步骤实现：

pip install requests

import requests
import json

url = 'https://api.example.com/data'  # 替换为你要请求的URL
response = requests.get(url)

if response.status_code == 200:
    data = response.json()  # 假设返回的数据是JSON格式
else:
    print(f"请求失败，状态码：{response.status_code}")

with open('output.json', 'w', encoding='utf-8') as file:
    json.dump(data, file, ensure_ascii=False, indent=4)

import sqlite3

然后，创建一个SQLite数据库连接：

conn = sqlite3.connect('output.db')
cursor = conn.cursor()

接着，创建一个表格来存储数据：

cursor.execute('''
CREATE TABLE IF NOT EXISTS data (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    key TEXT NOT NULL,
    value TEXT NOT NULL
)
''')

将数据插入到数据库中：

for item in data:
    cursor.execute("INSERT INTO data (key, value) VALUES (?, ?)", (item['key'], item['value']))

最后，提交更改并关闭数据库连接：

conn.commit()
conn.close()

这样，你就可以使用Python的requests库进行网络请求，并将获取到的数据存储到文件或数据库中了。

python request爬虫如何进行数据存储