真机安装centos7与scrapy爬虫环境

发表于

真机安装centos7与scrapy爬虫环境

1
2
网上大部分教程都是用ultraiso来录镜像的。但我在制作过程中一直遇到`设备忙;请格式化xxx`信息
谷歌找到usbwriter<https://sourceforge.net/projects/usbwriter/>此工具。结果制作成功

安装python35(用yum安装)

  1. 执行

    1
    $ sudo yum install centos-release-scl

  2. 再执行 

    1
    2
    sudo yum install rh-python35 
    $ scl enable rh-python35 bash

  3. 如果我们想开机启动就使软件集合可以编辑 

    1
    2
    3
    4
    5
    vi /etc/profile.d/python35.sh 
    #写入以下内容
     	js #!/bin/bash
    	source /opt/rh/rh-python35/enable
    	export X_SCLS="`scl enable rh-python35 'echo $X_SCLS'`"

安装scrapy

  1. 执行命令
    pip install Scrapy
此过程中；不断报错告诉你缺少哪个依赖库。
  2. 根据缺少的依赖库用yum命令来安装相应的库

安装java

  1. 下载rpm 
    sudo wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u66-b17/jdk-8u66-linux-x64.rpm" 
#或者直接到官网下载最新rpm再上传到服务器（有墙）
  2. 如出现无wget；运行yum install wget来安装wget。
  3. 运行 
    sudo rpm -ivh jdk-8u66-linux-x64.rpm 
jdk-8u66-linux-x64.rpm 是你下载回来的rpm名称
  4. java -version 查看版本信息 NOTE:跑jar包出错可能是缺少ia32-libs库或者执行yum install xulrunner.i686