Scrapy联行号爬虫/Mysql联行号数据库

之前也写过用requests爬取联行号+存储到mongodb+导出到Excel的爬虫，方便是方便，不过效率太低了。

最近心血来潮用Scrapy重写了一下，这次把有用没用的信息都爬下来了，存储到Mysql。

之前用requests写的好像要挺久的，这次3分钟就爬完了，Scrapy还是厉害。

数据库

如果只想要数据库的话，也可以直接下载这个数据库：

解压缩，然后在mysql中执行：

CREATE DATABASE lhh;
USE lhh;
source lhh.sql; #存放的路径
SHOW TABLES;

这样就导入到了lhh数据库，一共有三个表，分别是

1 lhhdata

存储支行名、联行号、地址、电话等信息；

2 bankdata

存储银行id对应的银行名

3 citydata

存储城市id对应的城市名

这个数据库只对应2022年3月15日的数据，想要自己爬的话，可以参照下面的步骤

爬虫

1 创建用于保存数据的mysql库和表

在mysql中执行：

DROP DATABASE IF EXISTS lhh;
CREATE DATABASE lhh;
USE lhh;
DROP TABLE IF EXISTS lhhdata;
CREATE TABLE lhhdata(
	`id` INT PRIMARY KEY,
	`address` VARCHAR(100),
	`area_id` INT,
	`area_pid` INT,
	`bank_id` INT,
	`bankname` VARCHAR(100),
	`create_time` DATETIME,
	`hanghao` VARCHAR(50),
	`tel` VARCHAR(50)
);

DROP TABLE IF EXISTS bankdata;
CREATE TABLE bankdata(
	bank_id INT(2) PRIMARY KEY,
	`name` VARCHAR(10),
	sid INT(3)
);

DROP TABLE IF EXISTS citydata;
CREATE TABLE citydata(
	id INT(3) PRIMARY KEY,
	pid INT(2),
	area_id VARCHAR(10),
	`name` VARCHAR(10),
	sid INT(4)
);

这样就创建了一个库：lhh；三个表：lhhdata, bankdata, citydata

2 下载并配置这个Scrapy Project

lhh 下载

解压后先修改Pipeline

class LhhPipeline:

    def __init__(self):
        self.connection = pymysql.connect(
                    host='127.0.0.1',
                    user='root',
                    password='',
                    db='lhh',
                    charset='utf8mb4',
                )
        self.cursor = self.connection.cursor()

把host、user、password都改成自己数据库对应的。

3 运行scrapy

直接运行start.py；或者在命令行中cd到lhh文件夹，然后执行：

scrapy crawl lhhdata -s LOG_FILE=lhh.log -L WARNING

后记

这篇教程，好像并没有什么应用场景。

但是也许可以做一些莫名其妙的统计，比如：

USE lhh;
SELECT c.name, count(*)
FROM lhhdata AS l
INNER JOIN `citydata` AS c
ON l.`area_id`=c.`id`
WHERE l.`bankname` LIKE "南京银行%"
GROUP BY c.name
ORDER BY count(*) desc;

看来南京银行是真想当南京一霸

USE lhh;
SELECT c.`name` 城市,count(*) 工行支行数量
FROM `lhhdata` AS l
INNER JOIN `bankdata` AS b
ON b.`bank_id`=l.`bank_id`
INNER JOIN `citydata` AS c
ON c.`id`=l.`area_id`
WHERE b.`bank_id`=1
GROUP BY c.`name`
ORDER BY count(*) DESC
LIMIT 12;

而工行，还是那个工行