/violin

Primary LanguagePythonMIT LicenseMIT

violin

安装virtualenv

$ pip3 install virtualenv

创建目录

$ mkdir violin
$ cd violin

创建虚拟环境

$ virtualenv env

激活虚拟环境

# windows
$ env\Scripts\activate
# linux
$ source env/bin/activate

生成爬虫项目框架

$ pip3 install scrapy
$ scrapy startproject violin_scraper

安装ChromeDriver

  1. 首先下载chromedriver 下载地址:http://chromedriver.storage.googleapis.com/index.html

  2. 查看自己chrome浏览器版本

  3. 将下载下来的文件解压,把chromedriver放在chrome安装目录下

  • Windows

C:\Program Files (x86)\Google\Chrome\Application

  • Ubantu

i. Check if google-chrome has been installed

which google-chrome

ii. Check if ChromeDriver has been installed

which ChromeDriver

iii. Copy unziped chromeDriver file to /usr/bin folder

iv. Verify if ChromeDriver works

chromedriver
  1. 配置环境变量,加入到PATH中。

安装Docker

安装Redis

  1. 查找Docker Hub上的redis镜像
$ docker search redis
  1. 选取当前最新的6.0.5进行拉取
$ docker pull redis:6.0.5
# docker pull redis:latest
  1. 创建要挂在的文件夹

Windows

md \mydata\redis\data
md \mydata\redis\conf
md \mydata\redis\log
echo 2> \mydata\redis\conf\redis.conf

被映射到windows系统中的log文件,无法识别\r, 所以无法换行

Linux

$ mkdir -p /mydata/redis/data
$ mkdir -p /mydata/redis/conf
$ mkdir -p /mydata/redis/log
$ touch /mydata/redis/conf/redis.conf
  1. 运行容器

Windows

docker run ^
--name single-redis ^
-p 6379:6379 ^
-v /c/mydata/redis/data:/data:rw ^
-v /c/mydata/redis/conf/redis.conf:/etc/redis/redis.conf:rw ^
-v /c/mydata/redis/log:/redislog:rw ^
--privileged=true ^
-d redis:6.0.5 redis-server /etc/redis/redis.conf --requirepass mypass 

Linux

$ docker run \
--name single-redis \ # 容器名
-p 6379:6379 \ # 端口映射 宿主机:容器
-v /mydata/redis/data:/data:rw \ # 映射数据目录 rw为读写
-v /mydata/redis/conf/redis.conf:/etc/redis/redis.conf:rw \ # 挂载配置文件
-v /mydata/redis/log:/redislog:rw \
--privileged=true \ # 赋予容器内root权限
--requirepass mypass \ # 设置默认密码
-d redis:6.0.5 redis-server /etc/redis/redis.conf # deamon启动,服务使用指定的配置文件
  1. 常用命令

进入容器调试

$ docker exec -it {container-id} or {container-name} bash

打开redis-cli

方法一, 在bash中打开, 进入容器调试后

$ cd /usr/local/bin
$ redis-cli

方法二, 直接打开redis-cli

$ docker exec -it {container-id} or {container-name} redis-cli

在远程服务器上执行命令

$ redis-cli -h {host} -p {port} -a {password}

例如:

$ redis-cli -h 127.0.0.1 -p 6379 -a "mypass"
redis 127.0.0.1:6379>
redis 127.0.0.1:6379> PING

PONG

密码设置

为现有的redis创建密码或修改密码

i. 进入redis的容器docker exec -it {container-id} redis-cli

ii. 查看现在的redis密码: config get requirepass

iii. 设置redis密码:config set requirepass {password}

iv. 若出现(error)NOAUTH Authentication required.错误,则使用auth {password}来认证密码