mongodb 和 mysql 在使用哪个数据库 来存储数据上 小哥还是纠结了一下下。
很多爬虫教程都推荐 mongodb 优势是速度快
因为我已经本机安装了一下 php 开发环境,mysql 是现成的, so 懒得换
另外我的数据量应该不会超过 100 万条,mysql 够使, 额 !
pip 安装一下 pymysql 就可以测试 了
- import pymysql.cursors
- # 连接数据库
- conn= pymysql.connect(host='localhost', port=3306, user='captain_gg', passwd='hao123', db='python' , charset='UTF8')
- # 获取游标
- cursor = conn.cursor()
- sql = "INSERT INTO src (type,title,url) VALUES (' 1 ','" + title + "','" + href + "')"
- cursor.execute(sql)
- conn.commit()
- # 提交,不然无法保存新建或者修改的数据
- conn.commit()
- # 关闭游标
- cursor.close()
- # 关闭连接
- conn.close()
来源: