爬虫管理平台以及wordpress本地搭建

爬虫管理平台以及wordpress本地搭建

学习目标:

  1. 各爬虫管理平台了解
  2. 各爬虫管理平台的本地搭建
  3. Windows下的wordpress搭建

爬虫管理平台了解:

  1. scrapydweb:

    用于Scrapyd实施管理的web应用程序,支持Scrapy日志分析和可视化
    
    github地址:https://github.com/my8100/scrapydweb.git
    
  2. gerapy:

    基于Scrapy,Scrapyd,Scrapyd-Client,Scrapyd-API,Django和Vue.js的分布式爬虫管理框架
    
    相关的配置在我之前博客地址:https://www.cnblogs.com/xbhog/p/13336651.html
    
    该项目github地址:https://github.com/Gerapy/Gerapy.git
    
  3. crawlab:

    基于Golang的分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架.
    
    文档地址:https://docs.crawlab.cn/zh/
    
    GitHub地址:https://github.com/crawlab-team/crawlab.git
    

注意:前两个框架的搭建基于Scrapyd,如果不知道怎么配置可以看我之前写的博客:https://www.cnblogs.com/xbhog/p/13336651.html

爬虫管理平台的本地搭建:

  1. scrapydweb搭建:

    • 安装:pip install scrapydweb -i https://pypi.doubanio.com/simple

    • 先打开scrapyd(命令行输入)

    • 再输入scrapydweb

    • 界面效果:

      爬虫管理平台以及wordpress本地搭建插图

    • 部署安装网上教程很多,不多赘述

  2. gerapy

    • 相关的配置在我之前博客地址:https://www.cnblogs.com/xbhog/p/13336651.html
  3. crawlab:(配置安装官方给的很详细,这里简单说下)

    • 首先把代码从远程仓库clone下来:git clone 地址/复制地址到pycharm中

    • #官方推荐几种安装方式:
      Docker(入门简单,推荐)
      Kubernetes(多机器部署,推荐)
      直接部署(理解原理)
      开发模式(开发调试)
      多节点部署
      #个人选择docker,该项目配置环境过多,怕给本地造成冲突
      
    • docker的安装:

      • 安装地址:https://www.docker.com/products/docker-desktop

      • 安装环境:本地虚拟化以及hyper-V需要打开,如图所示

    爬虫管理平台以及wordpress本地搭建插图(1)

    爬虫管理平台以及wordpress本地搭建插图(2)

    • 默认安装即可

    • 相关详细链接(菜鸟教程:https://www.runoob.com/docker/windows-docker-install.html)

    • 安装docker-compose包:pip install docker-compose

    • 在根目录下测试:

      docker-compose ps
      正常为空
      Name   Command   State   Ports
      ------------------------------
      --------------------------------
      
    • 安装并启动:docker-compose up -d

    • http://127.0.0.1:8080/#/login进入即可

Windows下的wordpress搭建:

环境准备:

  1. wampserver软件
  2. wordpress源码
  3. 百度网盘地址:链接:https://pan.baidu.com/s/1mAFu8XrNSfpyL_VgSvb8VA 提取码:1234

搭建步骤:

  1. 打开wampserver.exe,默认安装(注意在安装路径的时候不能有中文文件夹)

  2. 最后会有四个弹窗:

    • 是否更改浏览器,该软件默认浏览器是explorer,我们点击是,选择谷歌浏览器;

      爬虫管理平台以及wordpress本地搭建插图(3)

    • 选择nodpad++,选择否。

      爬虫管理平台以及wordpress本地搭建插图(4)

  3. 安装完成后,点击桌面图标运行,程序颜色表示状态

    • 红色:配置没启动
    • 橙色:配置启动一部分
    • 绿色:配置完全启动
  4. 绿色后,单机程序图标,点击localhost进入网页

    • 爬虫管理平台以及wordpress本地搭建插图(5)
    • 爬虫管理平台以及wordpress本地搭建插图(6)
  5. 将预先准备的wordpress安装包放到wampserver/www文件夹下

    爬虫管理平台以及wordpress本地搭建插图(7)

  6. 进入网页地址输入:localhost/wordpress

    爬虫管理平台以及wordpress本地搭建插图(8)

    点击开始进入配置页面:

    爬虫管理平台以及wordpress本地搭建插图(9)

  7. 上面配置先放置,我们先进行数据库设置

    爬虫管理平台以及wordpress本地搭建插图(10)

    爬虫管理平台以及wordpress本地搭建插图(11)

    输入用户名root,密码空,点击执行。

  8. 进入账户下的root,修改权限,修改密码

    爬虫管理平台以及wordpress本地搭建插图(12)

    爬虫管理平台以及wordpress本地搭建插图(13)

  9. 我们需要对应之前的数据库名称(wordpress),所以新建数据库

    爬虫管理平台以及wordpress本地搭建插图(14)

  10. 设置成功后返回之前的数据库登录页面,填写相关信息:

    爬虫管理平台以及wordpress本地搭建插图(15)

  11. 提交进入登陆界面配置:

    爬虫管理平台以及wordpress本地搭建插图(16)

  12. 填写完成进入登陆界面

    爬虫管理平台以及wordpress本地搭建插图(17)

  13. 登陆:前后台界面

    爬虫管理平台以及wordpress本地搭建插图(18)

    爬虫管理平台以及wordpress本地搭建插图(19)

本站资源均源自网络,若涉及您的版权、知识产权或其他利益,请附上版权证明邮件告知。收到您的邮件后,我们将在72小时内删除。
若下载资源地址错误或链接跳转错误请联系站长。站长q:770044133。

» 爬虫管理平台以及wordpress本地搭建

发表评论

免登录下载网,提供全网最优质的资源集合!