python requests 爬取并写入mysql
可以使用Python的requests库来发送HTTP请求获取数据，然后将数据存储到MySQL中。

首先需要安装requests库和pymysql库（用于连接MySQL）。可以通过以下命令进行安装：

pip install requests pymysql
然后编写如下代码示例：

import requests
import pymysql.cursors
 
# 定义目标URL
url = "http://odweb.cn"
 
# 发起GET请求
response = requests.get(url)
data = response.json() # 假设返回的是JSON格式的数据
 
# 建立与MySQL的连接
connection = pymysql.connect(host='localhost', user='root', password='password', db='database_name')
cursor = connection.cursor()
 
try:
    # 遍历数据并插入到MySQL表中
    for item in data['items']:
        sql = "INSERT INTO table_name (column1, column2) VALUES (%s, %s)"
        values = [item['value1'], item['value2']]
        
        cursor.execute(sql, values)
    
    # 提交事务
    connection.commit()
except Exception as e:
    print("Error occurred while inserting into MySQL:", str(e))
finally:
    # 关闭连接
    cursor.close()
    connection.close()

上述代码会从指定的URL获取数据，并将其插入到名为table_name的MySQL表中。在这之前，确保已经创建了相应的表结构。

来源：OD云

以上就是python requests 爬取网页并写入mysql的详细内容，更多信息请关注OD云其它相关文章！

本文URL：http://www.odweb.cn/news_show.html?id=209