找回密码
 注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 2595|回复: 0

Python + pyspider某小说站的爬虫,入数据库,火车头发布,资...

[复制链接]
发表于 2019-6-8 23:06:07 | 显示全部楼层 |阅读模式
Python + pyspider某小说站的爬虫,入数据库,火车头发布,资源下载到本地,另可写爬虫!
8 U5 ~9 T( M! l/ o' E
  1. #!/usr/bin/env python
    / B, ]* }) U9 o
  2. # -*- encoding: utf-8 -*-
    , k1 Q4 W* C+ w/ V1 H
  3. # Created on 2019-05-05 21:43:11* a0 }. m7 w# Z
  4. # Project: XiaoShuo" O4 ~7 Z6 y* v& E
  5. + m( L/ S3 y: X0 y) A& H
  6. from pyspider.libs.base_handler import *% `  R; h0 y# V% Y/ d, c3 E, F
  7. import pymysql
    # N3 G8 Z9 r5 i/ v6 F
  8. import random5 V$ h- z6 Y, P% }
  9. import datetime
    ( c. ]  m) `2 `. ?7 x6 K! w8 D
  10. import urllib2,HTMLParser,re
    3 t+ H' z. e/ p
  11. import os8 L- M: {) [4 e2 }3 {$ h" u
  12. import sys- T& ?% d' j' @1 n2 o0 v$ Y. m1 r
  13. import re; o$ ^+ [! c- X; H; I: \
  14. import codecs
    6 g! n3 s" ?$ w4 o
  15. import requests
    3 z( r  E. Z  A" N% X
  16. import json
    , p4 Y- v. y& y- Q7 M/ _

  17. # _( r0 i' a* b9 w/ U% k1 y
  18. class Handler(BaseHandler):
    ) a% a8 I7 V7 U. ], g9 B5 }1 z
  19.     global Datos
    & c* y& q/ X9 z! q2 {
  20.     global P_dir   
    / Z8 W: e3 J, ]( X# [
  21.     P_dir = '/Tools/Debug/'  #采集时候图片保持到本地的路径
    ) A! f8 ]; t( l' k  U4 T( Q, V
  22.     global Datos- F: [, I0 z% U4 G2 g0 u! v- x
  23.     Datos = {}# H* W. I2 W4 L: ]' ^
  24.     headers= {
    ' k- m9 M6 V3 J$ _# }
  25.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',; D7 Q/ t( B$ G  r7 t9 u7 W
  26.     'Accept-Encoding':'gzip, deflate, sdch',
    1 V& C. U0 L6 }9 k, j' u  ]0 ~
  27.     'Accept-Language':'zh-CN,zh;q=0.8',2 C7 a& I; p' Q9 x0 W9 w) z
  28.     'Cache-Control':'max-age=0',# \: ?+ [3 n/ U
  29.     'Connection':'keep-alive',
    ' m6 A# y; \: W. R$ n' k+ n( {
  30.     'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'0 Q; y  N* p0 b! {
  31.     }& b. d3 |1 K9 ?
  32.     crawl_config = {7 y5 n& l+ e7 d9 f- {* G! n
  33.         'headers' : headers,
    % R3 Q9 D5 ~+ y- W) a; Y0 @! y0 G
  34.         'timeout' : 300. H" P0 p: E% d% l  H( G
  35.     }
    & h* A6 @5 r: k( T6 y# |
  36.     def add_BookFile(self,Bookname, BookIDs, img, Locaimg, Book_Dates):
    2 R4 i1 C8 S  B/ v1 g
  37.         db = pymysql.connect(host="localhost",user="数据库用户名",password="密码",db="数据库名",charset="utf8")5 \9 \/ C6 }: U* F
  38.         try:
    % \) v9 X  \6 ?( F" ]* C9 H
  39.             cursor = db.cursor()# m$ r0 x7 @4 y: J: W! E
  40.             #注意此处字符串的占位符要加双引号"%s"+ q. k  q9 F; x2 G) |( z. ~
  41.             sql = 'insert into BookFile(Bookname, BookID, img, Locaimg, Book_Date) values ("%s","%s","%s","%s","%s")' % (Bookname, BookIDs, img, Locaimg, Book_Dates);# V+ i7 F/ {8 y) ^2 ~& E
  42. #            print(sql)
    3 `, o+ l% M7 k% T  l4 @" p
  43.             cursor.execute(sql)
    ) _% @4 [- i. w
  44.             
    / e1 \1 u1 N2 E+ \' Q% G
  45.             #qid = cursor.lastrowid
    7 G4 U9 l, c3 {! f$ u
  46.             #print(qid)- X) m& }) i9 s: U4 g3 O
  47.             
      v# y1 K& z1 K6 w+ |; X) G# [$ O
  48.             db.commit()8 ~7 ?$ ~$ m' ]8 n
  49.         except Exception as err:
    1 [' R1 G% y% e9 v
  50.             print("Error %s for execute sql: %s" % (err, sql))
    ; v0 H, T) }5 O7 v* h. y
  51.             db.rollback()
    . [3 Q0 t2 O# Z' U3 O6 b
  52.     def add_comment(self,Bookname, Booktitle, BookID, Titleid, Book_Date):; E* ^' x$ [. q: i
  53.         db = pymysql.connect(host="localhost",user="数据库用户名",password="密码",db="数据库名",charset="utf8")2 O6 I( {8 H3 y6 u
  54.         try:
    ( J  m  e$ n- ?8 |. g+ D
  55.             cursor = db.cursor()1 I$ L: a9 O  c5 E0 C
  56.             #注意此处字符串的占位符要加双引号"%s"' U1 x1 T2 P0 G- E; g. U) L& _$ \" ?
  57.             sql = 'insert into BookTitle(Bookname, Booktitle, BookID, Titleid, Book_Date) values ("%s","%s","%s","%s","%s")' % (Bookname, Booktitle, BookID, Titleid, Book_Date);
    7 p/ |% z+ M6 [- P6 i( }
  58. #            print(sql)* {, G9 ~: _9 h; [8 K
  59.             cursor.execute(sql)9 m1 {1 p& C! L5 U( \
  60.             : |, ^/ W' v& J! f3 T0 g2 o
  61.             #qid = cursor.lastrowid
    ; G; W* ]& {$ I$ d, o4 G
  62.             #print(qid)- O3 q+ d) |( \. h: j
  63.             ) d3 Z; ^% Q- R: P0 Z& U6 F8 s3 y
  64.             db.commit()+ ?) ]+ M+ @3 [. c8 [7 h  A
  65.         except Exception as err:7 X5 n: d, u* |; L6 N7 f
  66.             print("Error %s for execute sql: %s" % (err, sql)); p* p: w7 c  p# h# h0 [* Q( k4 G
  67.             db.rollback()
    ) Z9 u% W: q  H8 L5 K8 @. t
  68.     def add_question(self,Bookname,Cater_Name,Book_author,Book_Introduction,Book_Synopsis,Book_Palabras,Bookurl,Booktitle,BookID,BookConte,Titleid,abover,Book_Date):
    - `) U3 G' D8 H6 _
  69.         db = pymysql.connect(host="localhost",user="数据库用户名",password="密码",db="数据库名",charset="utf8")6 ?: ^% i' w& N' V4 e. g
  70.         try:7 B4 }! R3 W+ s5 Z6 X: W
  71.             cursor = db.cursor()
    2 f; V" H1 ]. o' K6 Q) z: K/ C
  72.             #注意此处字符串的占位符要加双引号"%s") _/ @3 h3 U, A* Z
  73.             sql = ' INSERT INTO BookConte (Bookname,Cater_Name,Book_author,Book_Introduction,Book_Synopsis,Book_Palabras,Bookurl,Booktitle,BookID,BookConte,Titleid,abover,Book_Date) VALUES("%s","%s","%s","%s","%s","%s","%s","%s","%s","%s","%s","%s","%s")' % (Bookname,Cater_Name,Book_author,Book_Introduction,Book_Synopsis,Book_Palabras,Bookurl,Booktitle,BookID,BookConte,Titleid,abover,Book_Date);
    ( E* j: A: a# Y( j
  74.             print(sql)
    " G, ~4 v; V  u  h" l: J
  75.             cursor.execute(sql)3 @4 W  {, E& k- G# C- M
  76.             print(cursor.lastrowid)
      H, {9 @! ?/ B
  77.             db.commit()/ `% \: ?. C; z; j# P
  78.         except Exception as err:
    * i' K4 S9 l$ z6 T4 ?) _/ ~7 h
  79. #        except:
    1 E0 t; ^% Y5 w
  80. #            print('Failed')
    ( @3 x$ Z* n1 J; P2 O
  81.             print("Error %s for execute sql: %s" % (err, sql))  N7 n% Q7 L; k9 ]3 A# }# d
  82.             db.rollback(): c. g# H7 c' ~8 u
  83.         4 n) t! ~2 \. @# x8 Q
  84.     def add_locoy(self,Bookname,Cater_Name,Book_author,Book_Introduction,Book_Palabras,Book_img,Booktitle,BookConte,abover):
    ) E9 r# z- o/ }8 v2 e# P
  85.             reload(sys)& Q) w% f7 _' r* t! e3 @8 E
  86.             sys.setdefaultencoding("gbk")% n/ s# M& z' j* H9 I
  87.             locoy_url = 'http://www.******.net/locoy/?my=book'  #697火车头发接口地址
    ; e9 i# `# I! O% Z+ `! ?: a
  88.             locoy_data = {* K5 m8 K/ z: P- i* V
  89.             'my_u':'用户名',   #后台用户名, U4 q( y; v/ ?
  90.             'my_p':'密码',   #后台密码
    , I9 b# s) w6 Y! o! S8 \$ r
  91.             'subject_669977_net':Bookname.encode('gbk', 'ignore'),; m9 G$ P/ K8 F/ R  P0 D
  92.             'caid':Cater_Name.encode('gbk', 'ignore'),
    . F  p6 l' u9 w
  93.             'title_669977_net':Booktitle.encode('gbk', 'ignore'),
    + A  e$ u  M+ m1 |$ J0 ~% }9 e& ~
  94.             'article':BookConte.encode('gbk', 'ignore'),
    8 N' q- j: u, Y9 F- Z# J
  95.             'author':Book_author.encode('gbk', 'ignore'),
    - f$ i5 [, p1 H, s
  96.             'ready_1':Book_Palabras.encode('gbk', 'ignore'),
    1 q. S9 k( b/ W6 w
  97.             'thumb':Book_img,. a3 W( C; H0 b4 \7 J# w, d
  98.             'content':Book_Introduction.encode('gbk', 'ignore'),) T9 @4 p9 e9 ^, i! U% Z
  99.             'abover':abover.encode('gbk', 'ignore')           # e( z3 t+ `' F# m
  100.                 }
    , c/ R! g6 ?+ z' p
  101.             res = requests.post(locoy_url, data=locoy_data)
    4 ^2 ~3 H0 G# i2 e0 H6 @
  102.             print res.text7 D4 E3 h: z8 ], t2 P' S) e, \* a, R
  103.             print res.content/ t+ m9 p# o2 r0 [
  104. #            print Dsd
    + x# a) e. Q. ]2 g( g7 d" b
  105.             return res* ]9 F- o  F" r: Y
  106.    
    1 i( M: ^& Y1 }. |' F1 w% f
  107.     def __init__(self):+ @5 u4 `* @7 V% y! ]2 x
  108.         self.base_url1 = 'https://www.****.cc/'1 x8 \" A. n2 w; G) h7 F* J
  109.         self.base_url2 = '/', E; t5 y( N0 A5 q( y+ ]1 v$ h
  110.         self.CaterId = []4 C  }2 b& D0 L8 C5 E/ o/ M
  111.         self.CaterIds = ['xuanhuan', 'wuxia', 'yanqing', 'lishi', 'kehuan', 'kongbu', 'nvsheng']: [- C6 x: j8 C9 {/ t3 l
  112.         self.page_num = 1
    ( U& p8 S, |5 E( v2 g& \; d
  113.         self.total_num = 200   ' z& F) v0 ^  ~* g! c) ]* z
  114. 5 Z4 a2 y2 U* x8 ?
  115.     @every(minutes=8 * 60)7 i6 g9 D& c# X7 m
  116.     def on_start(self):
    & e8 @7 a; P- x" a6 W  i. S3 a
  117.         global Cater_Name3 A  m" v; s/ S! Y/ g/ d" U) a9 o
  118.         Cater_Name = []' w6 l8 W$ ^, H& X
  119.         while self.page_num <= self.total_num: 9 f; \, X* v( y' B/ q$ `' m
  120.             for self.CaterId in self.CaterIds:
    " B9 m7 v- Y3 F9 j+ P/ [& I4 X3 w* x
  121.                 if self.CaterId  == 'xuanhuan':
    4 i* X! T" A* m
  122.                      Cater_Name = '玄幻', O4 [6 l! C) y$ D7 S% P5 i) O  E# q
  123.                 if self.CaterId  == 'wuxia':6 z# G$ A+ ^4 L6 o+ ]$ Q8 r' _, G
  124.                     Cater_Name = '武侠'* Q- s4 i# h8 Q1 H, w- p
  125.                 if self.CaterId  == 'lishi':
    ' C8 ~1 A: k4 U& C* P& @
  126.                     Cater_Name = '历史'            ! z+ l# w% R8 c* D5 ~' W
  127.                 if self.CaterId  == 'yanqing':
    , V2 s, P3 Q; i4 o/ D8 ~) C7 l
  128.                     Cater_Name = '都市' 5 _/ g# U: l9 s
  129.                 if self.CaterId  == 'nvsheng':
    1 t9 H6 H$ @* r5 f6 L# @
  130.                     Cater_Name = '都市'
    * u- O5 _7 ^" L0 W
  131.                 if self.CaterId  == 'kehuan':
    1 ?; G! r( t7 [( d' Q
  132.                     Cater_Name = '科幻'
    4 f  n( |7 y9 A1 c6 z- q
  133.                 if self.CaterId  == 'kongbu':
    " k/ H$ q( y0 w7 a5 `
  134.                     Cater_Name = '游戏' 8 F/ `; r. D8 U- v/ ~  Z3 P/ M9 Q
  135.                 print self.CaterId) Z9 T. _! \; Y5 Y  e  a
  136.                 url = self.base_url1 + str(self.CaterId) + self.base_url2 + str(self.page_num) + "/"            q* ~) t$ N! ?0 B$ m" `  u4 b
  137.                 self.crawl(url, callback=self.list_Caterg,save=Cater_Name)0 S% L- K/ N* x# b- K0 g- R
  138.             self.page_num += 1 # Y5 B4 F' \/ ]# K
  139.             
    ( c5 s0 ^4 W; R' p& y8 }
  140.     def list_Caterg(self, response):
      S/ Z4 H6 r& ~2 e  P3 ]
  141.         Cater_Name = response.save
    , p2 p* c, d0 X5 ]
  142.         for each in response.doc('.pic-list a[href^="http"]').items():
    + v, H1 {5 l/ ^% w: [! x  ?5 P; g
  143.             self.crawl(each.attr.href, callback=self.list_Caterg_detail,save=Cater_Name)
    . N8 R. F" u9 n1 `. p! h
  144.             
    8 G) ~' ~5 w' Z6 S# p" B, Z5 m
  145.     def list_Caterg_detail(self, response):
    7 \7 c; D) s& C5 q  C
  146.         Cater_Name = response.save
    ! B1 C% ~( u2 C! ?3 B
  147. #        print Cater_Name1 W8 a6 Y+ ]7 M3 u; a7 s$ c! }
  148.         Bookname = response.doc('h1').text()/ w+ Q2 v: w: [: G: l
  149.         print Bookname# P' A( U9 t+ o& ^' `9 K" v! A  A
  150.         Book_author = response.doc('.authorname > a').text()/ H9 Z0 g( Q; k. R. f4 Q
  151. #        print Book_author
    : P) F- Y9 ~% w3 I8 k9 R
  152.         Book_Introduction = response.doc('.book-intro > div').text()8 c! F: t/ g* c2 z' b- X6 ^' Y
  153. #        print Book_Introduction
    , }8 r' Q$ v2 h* B% Q
  154.         Book_Synopsis = response.doc('b').eq(1).text()
    $ B0 x- N- I% ^; H) Q4 L7 _
  155. #        print Book_Synopsis
    8 ^8 R& N" x& o
  156.         Book_Palabras = response.doc('.booktitle p').text().split(' ')[1].split('|')[0]
    " W+ K5 f6 a$ k- T' o  }' \6 t
  157. #        print Book_Palabras
    % N5 z8 G2 m* S8 M- q; o: g& r
  158.         BookIDs = response.url.split("xiaoshuo/")[-1].split("/")[0]   #小说ID7 A  z4 E& q$ r7 r1 L
  159. #        print BookIDs
    + a3 F8 _! L2 Y& [
  160.         Book_Dates = str(datetime.datetime.now())         5 {! S- N- }. M& T
  161.         for imgs in response.doc('.bigpic > img[src^="http"]').items():. G# j( A3 I' N" ^
  162.             img = imgs.attr.src7 P# f% O5 h, _" N& Q- f7 n3 G$ f& Y
  163.             print img
    ' c0 U* i3 C& E4 {
  164.                 #小说封面下载
    - h& @. L+ Q3 ?2 S2 X
  165.             extension = self.getExtension(img)/ C, D) Z- E+ L6 X) [/ v
  166.             name = self.getname(img)
    1 Z+ k; v9 b4 @/ y. m$ l
  167.             file_name = name + "." + extension
    ; U7 s8 ~0 o, ]% T
  168.             imgDir = P_dir + name
    ( c4 G, e7 p+ D( L
  169.             Locaimg = imgDir + "/" + file_name
    8 ]8 u6 ?6 E" {5 e/ O2 _
  170.             print Locaimg
    6 @& P' J7 \9 p9 b8 i
  171.             if(self.download(P_dir, imgDir, file_name, img)):   #这2行可注译,图片下载到本地0 u# S% R- s& ]
  172.                 print('attachment url is ' + img)               #8 k* z9 {) [0 s' v
  173.             Datos = {* g1 b3 [6 x  R( K. ]7 X3 {; [
  174.                     "Cater_Name":Cater_Name,
    2 d; U, ?. _3 ~: Z* H
  175.                     "Book_author":Book_author,
    ( l2 O" [" L- B
  176.                     "Book_Introduction":Book_Introduction,8 r# h2 K' Y: ~" \0 ]
  177.                     "Book_Synopsis":Book_Synopsis,5 {/ H6 Z! ?& q0 A) {
  178.                     "Book_Palabras":Book_Palabras,: J. @/ |: C5 O
  179.                     "img":img,% N5 C0 e4 w+ Z/ x& P* b
  180.                 }5 A+ {$ R* {) Y" h2 |9 l4 M
  181.             self.add_BookFile(Bookname, BookIDs, img, Locaimg, Book_Dates)  #这行可注译,数据库发布接口,方便其他系统的发布
    + n3 l  M  d4 D
  182.         for each in response.doc('div[class="bookbtn-txt"]  a[class="catalogbtn"]').items():) e: O+ W3 j+ B7 x9 q9 U
  183.             self.crawl(each.attr.href, callback=self.index_page,save=Datos)
    - ]8 ~. ]0 z& i& p0 }( y$ R& F
  184.             
    1 C& o5 [9 M+ |2 Q1 K3 b9 X
  185.     @config(age=8 * 60 * 60)    1 H) q# M% J. I+ g- h
  186.     def index_page(self, response):
    6 U$ r& P; n3 U- C
  187.         Datos = {
    , ]* [( q5 o4 q1 u- B# H8 p) s
  188.                   "Cater_Name":response.save['Cater_Name'],, \# }2 [) R) n! X- l
  189.                    "Book_author":response.save['Book_author'],' P: W4 m6 ^- |# N! c" }
  190.                    "Book_Introduction":response.save['Book_Introduction'],
    7 L* ~: I7 z+ R# B
  191.                    "Book_Synopsis":response.save['Book_Synopsis'],3 \: J' `, J* }- @1 ~% V, _
  192.                    "Book_Palabras":response.save['Book_Palabras'],
    1 z6 u3 \' X, w& Q& _) \7 r
  193.                    "img":response.save['img'],; j, l5 ?, a  J: w5 f! v3 T
  194.                      }
    0 }. |; c: l  v
  195.         for each in response.doc('.chapter-list li:first-child a[href^="http"]').items():) a) o  T. b4 P* }0 s" x" G! V8 d% ]! s
  196. #        for each in response.doc('.chapter-list  a[href^="http"]').items():  
    ! Y% p$ j. c( M* P4 O
  197.                     self.crawl(each.attr.href, callback=self.detail_page,save=Datos)0 ~; g- j& V" b1 y- p% v
  198.     @config(priority=2): C8 s9 p4 @$ L- C% ]# j6 L: n
  199.     @catch_status_code_error" \9 y* C- t" U
  200.     def detail_page(self, response):        
    # [' l9 N* n/ J: @  x; a
  201.         NewRe1 = u'哈书'9 e0 t+ e; s4 a% g) ]* @- R# O
  202.         NewRe2 = u'huhjsd.CC'5 H* X2 Q6 K0 c- N1 n+ y. K
  203.         NewRe3 = r'^\\n\\n'
    / a4 o1 h) y% b5 \8 w/ M9 k
  204.         NewRe5 = u'小说网'
    - h, c: S( D* l$ d$ x
  205.         NewRe6 = u'fgdfgf'3 F1 k, n/ N9 J7 H. r/ k! A
  206.         NewRe7 = u'fgfgf'/ k8 f! C9 I$ N+ L
  207.         NewRe8 = u'ffhgf'* G# I; \2 \9 @/ v
  208.         NewRe4 = r'[\f\t\v+\.\{\(\)\}\!\/_,$%^*(+"\')]+|[+——()?【】“”!,。?、~@#¥%……&*()]+'
    % U: \2 [5 U, x
  209.         ReC1 = u'静思'
    9 a" U  F1 S0 P3 R: r! K" M- S
  210.         ReC2 = u'aghgf.com'6 ^  h; }% [' ~! f
  211.         ReC3 = u'aghgfh.com'9 k: e; G7 X5 Z
  212.         ReC4 = u''
    / z0 w$ v# t& F% r% P3 M9 B- Q1 p
  213.         ReC5 = u'文学网'
    ) R- U) z1 i2 V
  214.         ReC6 = r'<BR>'" Y) y. ~+ n' c& ^( @
  215.         Bookname = response.doc('.readlocation a').eq(2).text()   #小说名称1 n3 g: @7 ^" U, g* M
  216.         print Bookname" @  e$ \3 U* a
  217.         Cater_Name = response.save['Cater_Name']   # 小说分类
    5 j! ], [, ^; K7 L- ?* o
  218.         Book_author = response.save['Book_author']   #小说作者
    ( d. ^8 I' J/ F( Q1 l5 F
  219.         Book_Introduction1 = response.save['Book_Introduction']   #小说简介
    8 @  U; x; [3 p. C
  220.         Book_Synopsis = response.save['Book_Synopsis']   #最近更新# [5 U9 n; p$ q
  221.         Book_Palabras = response.save['Book_Palabras']   #小说字数
    - V& c/ I" e' u$ ^$ C; h2 ^
  222.         Bookurl = response.url   #小说网址
    & u. S4 u! V" F% v* b( T3 s
  223.         Booktitle = response.doc('.article-title').text()   #章节名称
    $ ^2 w; g- a2 {
  224.         BookID = response.doc('.readset-r span').text()   #小说ID
    2 r: h; S, E: N2 _1 v
  225.         BookConte1 = response.doc('.article-con').text()   #小说章节内容; [; I3 }2 X2 u- q( T
  226.         abover = response.doc('.article-title').text() + response.save['Book_Synopsis'] + response.save['Book_Palabras'] + response.save['Book_Introduction']   #小说状态(连载还是完成)* \+ S1 o- l0 S
  227.         Book_Date = str(datetime.datetime.now())    # 采集时间* U% S9 e" O$ ^; _
  228.         BookConte2 = BookConte1.replace(NewRe1 , ReC1)
    - o& Q8 |: i: ]# _$ E$ B5 w
  229.         BookConte3 = BookConte2.replace(NewRe2 , ReC2)
    4 F6 e" n# `) B5 ^- N$ `  ?
  230.         BookConte5 = BookConte3.replace(NewRe5 , ReC5)7 O- t: W( A9 ~# f& R& X+ K1 M9 x* f
  231.         BookConte6 = BookConte5.replace(NewRe6 , ReC2)2 N( w! a+ H( ^! y
  232.         BookConte7 = BookConte6.replace(NewRe7 , ReC2)
    4 V, J9 E4 K) S  \1 @
  233.         BookConte8 = BookConte7.replace(NewRe3 , ReC6)
    4 \* Z# v$ q$ G) k
  234.         BookConte4 = re.sub(NewRe4 , ReC4 , BookConte8)6 v5 D% M- p& t" k7 q
  235.         BookConte = BookConte4.replace("\n\n","<br>")
    ! a- ]! u, h# T4 {
  236.         print BookConte
    ! l8 f7 w) y, |3 Y* \3 j0 X
  237.         Book_Introduction2 = Book_Introduction1.replace(NewRe1 , ReC1)
    % Y$ I, o. M& j- l+ E, b! h4 Q1 |
  238.         Book_Introduction3 = Book_Introduction2.replace(NewRe2 , ReC2)% i5 E. [9 ~- U! W
  239.         Book_Introduction4 = Book_Introduction3.replace(NewRe3 , ReC3)8 B- l) E2 I( H, g
  240.         Book_Introduction = re.sub(NewRe4 , ReC4 , Book_Introduction4)
    " y' l# G8 [/ ~$ a' n8 M0 T
  241.         Titleid = response.url.split(BookID + "/")[-1].split("/")[0]     
    : j5 N- b8 F- M/ {, c
  242.         Book_img = response.save['img'],  #小说图片: _  s) q8 J0 g
  243.             
    5 E% O. o3 Z- n) M- \7 U
  244.         #insert into MySQL 小说入库
    , G9 D5 K( y" {" H
  245.         self.add_question(Bookname,Cater_Name,Book_author,Book_Introduction,Book_Synopsis,Book_Palabras,Bookurl,Booktitle,BookID,BookConte,Titleid,abover,Book_Date)   #这行可注译,数据库发布接口,方便其他系统的发布
    & E5 B: c9 `: E: j
  246.         self.add_comment(Bookname, Booktitle, BookID, Titleid, Book_Date)   #这行可注译,数据库发布接口,方便其他系统的发布
    / H: h( O+ |# a# K3 j& }4 R
  247.         #post提交发布
    8 N' ~0 A$ \, ^( p  S
  248.         self.add_locoy(Bookname,Cater_Name,Book_author,Book_Introduction,Book_Palabras,Book_img,Booktitle,BookConte,abover)  #这行可注译,火车头发布接口,不需要可取消5 w) u4 r% K6 E, k
  249.         Datos = {" m& \2 X$ B5 E, _! g  U2 J6 s
  250.                   "Cater_Name":response.save['Cater_Name'],- O1 t6 T4 _- M' C( n5 p
  251.                    "Book_author":response.save['Book_author'],
    / Q8 i; Y- @' ~$ L% J) R
  252.                    "Book_Introduction":response.save['Book_Introduction'],
    6 w5 i" l* Q! K5 ^; O* ^
  253.                    "Book_Synopsis":response.save['Book_Synopsis'],
    + A6 g$ M. U. }7 {- m- I9 @
  254.                    "Book_Palabras":response.save['Book_Palabras'],
    , o2 N6 G8 @: g6 @' n
  255.                    "img":response.save['img'],
    : _: `5 c4 R: P
  256.                      }* q3 M) r' E# T. p6 p$ |
  257.         for each in response.doc('.articlebtn > a:nth-child(4)[href*="/xiaoshuo"]').items():
    6 R( ]. A; E# m+ V
  258.             self.crawl(each.attr.href, callback=self.detail_page,save=Datos) 1 e7 L) Y  e2 ?: d, \8 J8 q
  259.         return {! p0 }# }% Y5 t8 Z
  260.             "Cater_Name":Cater_Name,! R9 U. v% d/ s  h3 B/ W
  261.             "Bookname":Bookname,
    / F% [6 u' G* I; c/ j# t3 C" F
  262.             "Book_author":Book_author,
    ' s' s6 Q8 g2 X- N6 n3 @2 l
  263.             "Book_Introduction":Book_Introduction,+ v( R5 }/ V! U' O0 g
  264.             "Book_Synopsis":Book_Synopsis,
    + d) O6 p7 j0 a/ l$ H$ v
  265.             "Book_Palabras":Book_Palabras,
    * e* u7 `$ f, u6 J
  266.             "Book_img":Book_img,, c8 l$ I/ A/ v- o
  267.             "Bookurl": response.url,
    ; r- x9 Y2 P+ v, H% g+ I1 j$ P
  268.             "Booktitle": Booktitle,5 U4 j( F7 T1 B* D, S) g/ @8 q
  269.             "BookID": BookID,5 |. x$ G( u, i
  270.             "BookConte": BookConte,1 i& w: j$ o2 [" c1 I7 Z
  271.             "Titleid": Titleid,: w9 g4 a, `# T, P
  272.             "abover":abover,+ u3 @5 g8 L. O# L. x
  273. #            "Book_Date" = str(datetime.datetime.now()),) |* u; i( J. U
  274.         }' O1 O0 q2 X+ |: y5 Q) [
  275.     def download(self, P_dir, imgDir, file_name, Book_img):' Q1 G/ Y% D7 g4 [3 q4 i7 ^7 \
  276.         if not os.path.exists(imgDir): , N- v, _" I/ c& M/ n0 _
  277.             os.makedirs(imgDir)6 s  k8 ^  Z* X- a  S
  278.         file = imgDir + "/" + file_name
    4 b$ N! {" F4 W
  279. #        print file
    7 p; Z. s$ \9 z2 G( Y
  280.         f = open(file, 'wb+')) y" E$ o" O; @: i
  281.         imag = requests.get(Book_img)
    5 o, h4 O8 ]: D6 y$ N* v5 \
  282.         f.write(imag.content)! q/ s2 H: [% C' V. Y
  283.         f.close()
    * x8 K6 ~4 f3 S% S6 }& r
  284.         #保存图片前( _" V8 g7 s5 g. F/ l
  285.     def save_imgs(self,response):
    . Z& O8 `2 @1 O8 u7 E0 P, ~( L" G
  286.         content = response.content
    ; ~7 K& O) [! M. k
  287.         file_name = response.save["file_name"]
    + r% O$ O$ T" q2 Q0 z1 _
  288.         imgDir = response.save["imgDir"]/ B0 h1 q* `6 E# P' s  ?; u
  289.         file_path = imgDir + file_name
    . g3 @+ ?2 L/ h
  290.         self.save_img(content,imgDir,file_path)
    & @$ E( F) I3 O. i% L" x, l* a
  291.     #保存图片
    + `* O0 |8 @9 F1 k7 n/ m! I
  292.     def save_img(self,content,imgDir,path):
    8 C0 y# p0 h/ H( o' a: ?! @
  293.         if not os.path.exists(imgDir):                        
    " F, ?/ a* P! {  i: }; Y" U9 N
  294.             os.makedirs(imgDir); G' V2 T! I# I8 s1 |, r
  295.         f = open(path,"wb" )% d! R! q$ q  s9 k/ |6 H0 ~
  296.         f.write(content): g' a6 \( s: E+ h# A
  297.         f.close()# \% _8 T/ I; {$ h
  298.     #获取url后缀名% b, {3 L* D$ C* J* [* C) M  j% j2 r
  299.     def getExtension(self,url):                            ( ^& n7 I( A0 o% U# `
  300.         extension = url.split(".")[-1]
    * m! l7 W7 [8 x' p1 S
  301.         return extension + k7 S0 {2 L' Y, t: @: E8 u1 i
  302.    
    ) d% w3 |& W3 A5 [3 m% K4 C
  303.     #获取图片名6 L$ V2 h$ t+ P9 H6 x
  304.     def getname(self,url):0 O9 ?: h6 ~8 v" Y' g1 S
  305.         name=url.split("/")[-1].split(".")[0]  s1 u) y3 q( V7 E! I
  306.         return name
复制代码
- [( U+ D: h; k
6 x7 c. H1 n! U7 ^
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|中国飞逸网

GMT+8, 2026-11-19 01:07

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表