第十九章 linux部署scrapyd

1. linux部署python环境

1. 部署python源文件环境

yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y

2. 下载python

yum install -y wget

# 具体版本可以根据自己需求下载
wget https://www.python.org/ftp/python/3.11.8/Python-3.11.8.tgz

3. 解压安装包

tar -zxvf Python-3.11.8.tgz

4. 安装

# /usr....路径根据自己需求设定
./configure --prefix=/usr/local/python3

make && make install

5. 配置环境变量

vi /etc/profile

export PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH

# 配置完成后刷新环境变量
source /etc/profile

6. 检查是否安装成功

7. 准备python使用的包

win+R命令窗口

pip freeze package.txt

将package.txt传输到linux中
可以使用工具 MobaXterm
链接：https://pan.baidu.com/s/1NqKDJBH0ZfPZmm1sn1q9oQ?pwd=2024
提取码：2024

为了下载快一些可以配置python的源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

pip3 install -r package.txt

8. 安装scrapyd

pip3 install scrapyd

9. 配置scrapyd

vi /usr/local/python3/lib/python3.11/site-packages/scrapyd/default_scrapyd.conf

# 修改此行
bind_address = 0.0.0.0

10. 开放6800端口

iptables -I INPUT -p tcp --dport 6800 -j ACCEPT

# 创建scrapyd项目文件夹
mkdir scrapyd_projrct
cd scrapyd_projrct
scrapyd

2. 部署gerapy

1. 本机下载包

 pip install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 初始化

gerapy init

3. 进入gerapy同步数据库

cd .\gerapy\
gerapy migrate

4. 创建用户

gerapy createsuperuser

5. 运行gerapy

gerapy runserver

打包失败原因待探索…

如果打包项目失败的话
使用scrapy-deploy直接部署项目到scrapyd上

# 进入项目 scrapy.cfg文件的统计目录下

scrapyd-deploy ts -p test_name