Python爬虫：爬取小说并存储到数据库

爬取小说网站的小说，并保存到数据库

第一步：先获取小说内容

#!/usr/bin/python# -*- coding: UTF-8 -*-import urllib2,redomain = 'http://www.quanshu.net'headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}def getTypeList(pn=1): #获取分类列表的函数    req = urllib2.Request('http://www.quanshu.net/map/%s.html' % pn) #实例将要请求的对象    req.headers = headers  #替换所有头信息    #req.add_header() #添加单个头信息    res = urllib2.urlopen(req)   #开始请求    html = res.read().decode('gbk')  #decode解码，解码成Unicode    reg = r'(.*?)'    reg = re.compile(reg) #增加匹配效率  正则匹配返回的类型为List    return re.findall(reg,html)def getNovelList(url):  #获取章节列表函数    req = urllib2.Request(domain + url)    req.headers = headers    res = urllib2.urlopen(req)    html = res.read().decode('gbk')    reg = r'
(.*?)
'    reg = re.compile(reg)    return re.findall(reg,html)def getNovelContent(url):  #获取章节内容    req = urllib2.Request(domain + url)    req.headers = headers    res = urllib2.urlopen(req)    html = res.read().decode('gbk')    reg = r'style5\(\);(.*?)(.*?)