使用 Laravel Queue 不得不明白的知识

阅读数: 617 2018年09月19日

背景

首先说一下我写这篇文章的初衷,在我们打算使用 Laravel Queue 的时候,你的首选应该是去看文档,但是无奈 Laravel 的文档很多地方写得太简单,有时候想了解一个深入的问题,不得不去看源码,但是看源码确实费一些时间。


所以我打算写一篇文章,把我在使用 Laravel Queue 过程中的方方面面都写一下,方便新手学习、老司机温习。


因为 Redis Queue 是比较简单也很常用的一种队列,所以以下内容我都基于 Redis Queue。


为什么使用队列?

虽然这个问题不是今天文章的重点,但是我还要说一下,一般来说使用队列是为了:异步、重试


也许你还有其他的理由使用队列,但是这应该是最基本的两个原因。


什么情况使用队列?

了解了为什么使用队列,那么一般有这么几类任务使用队列:

耗时比较久的,比如上传一个文件后进行一些格式的转化等。


需要保证送达率的,比如发送短信,因为要调用别人的 api,总会有几率失败,那么为了保证送达,重试就必不可少了。


使用队列的时候一定要想明白一个问题,这个任务到底是不是可以异步,如果因为异步会导致问题,那么就要放弃使用队列。


一些小技巧

在开发环境我们想测试的时候,可以把 Queue driver 设置成为 sync,这样队列就变成了同步执行,方便调试队列里面的任务。


Job 里面的 handle 方法是可以注入别的 class 的,就像在 Controller action 里面也可以注入一样。


问答

问:什么时候使用 queue:listen 什么时候使用 queue:work?

答:Laravel 5.3 的文档已经不写 queue:listen这个指令怎么用了,所以你可以看出来可能官方已经不怎么建议使用 queue:listen了,但是在本地调试的时候要使用 queue:listen,因为 queue:work在启动后,代码修改,queue:work不会再 Load 上下文,但是 queue:listen仍然会重新 Load 新代码。


其余情况全部使用 queue:work 吧,因为效率更高。


命令讲解

以下是常用的指令,我讲解一下

1、

php artisan queue:work --daemon --quiet --queue=default --delay=3 --sleep=3 --tries=3


--daemon

The queue:work Artisan command includes a —daemon option for forcing the queue worker to continue processing jobs without ever re-booting the framework. This results in a significant reduction of CPU usage when compared to the queue:listen command


总体来说,在 supervisor 中一般要加这个 option,可以节省 CPU 使用。


--quiet

不输出任何内容


--delay=3

一个任务失败后,延迟多长时间后再重试,单位是秒。这个值的设定我个人建议不要太短,因为一个任务失败(比如网络原因),重试时间太短可能会出现连续失败的情况。


--sleep=3

去 Redis 中拿任务的时候,发现没有任务,休息多长时间,单位是秒。这个值的设定要看你的任务是否紧急,如果是那种非常紧急的任务,不能等待太长时间。


--tries=3

定义失败任务最多重试次数。这个值的设定根据任务的重要程度来确定,一般 3 次比较适合。


Redis 中发生了什么事情

1、

dispatch(new ExampleJob());

如果一个任务进入 default 队列,会发生:


12345

127.0.0.1:6379>monitor"RPUSH""queues:default""{\"job\":\"Illuminate\\\\Queue\\\\CallQueuedHandler@call\",\"data\":{\"commandName\":\"App\\\\Jobs\\\\ExampleJob\",\"command\":\"O:19:\\\"App\\\\Jobs\\\\ExampleJob\\\":7:{s:17:\\\"\\u0000*\\u0000userIdentifier\\\";N;s:9:\\\"\\u0000*\\u0000realIp\\\";N;s:12:\\\"\\u0000*\\u0000requestId\\\";N;s:6:\\\"\\u0000*\\u0000job\\\";N;s:10:\\\"connection\\\";N;s:5:\\\"queue\\\";N;s:5:\\\"delay\\\";N;}\"},\"id\":\"bwA7ICPqnjYiM0ErjRBNwn0kVWF6KeAs\",\"attempts\":1}"

redis 中会出现如下内容:


12

127.0.0.1:6379> keys queue*1) "queues:default"

如果执行命令:



1

php artisan queue:work --daemon --quiet --queue=default --delay=3 --sleep=3 --tries=3

Redis 会发生什么事情?


第一步:查看是否需要重启,如果 laravel:illuminate:queue:restart 存在,就重启队列(代码更新后,一定要重启队列,否则队列不会读取最新代码)。



12

"GET""laravel:illuminate:queue:restart"

第二步:查看zset queues:default:delayed ,注意这里的事务



123456789

"WATCH""queues:default:delayed""ZRANGEBYSCORE""queues:default:delayed""-inf""1485386782""UNWATCH"

第三步:查看 zset queues:default:reserved,注意这里的事务



123456789

"WATCH""queues:default:reserved""ZRANGEBYSCORE""queues:default:reserved""-inf""1485386782""UNWATCH"

第四步:从 queue:default list 中取任务,如果有任务,要把任务先暂存到 queues:default:reserved 中(过期时间60秒,Redis Queue 里面写一个任务最多执行60秒)。


任务执行结束会把 queues:default:reserved 中的任务删除,如果任务报错(Throw exception),也会把queues:default:reserved 中的任务删除,然后把任务扔进 queues:default:delay,delay 的秒数是 3 秒(因为我们上面参数配置的是 --delay=3)。



12345678910111213141516171819202122

"LPOP""queues:default"#取出任务后,先要放到 queues:default:reserved zset 中"ZADD""queues:default:reserved""1485386842""{\"job\":\"Illuminate\\\\Queue\\\\CallQueuedHandler@call\",\"data\":{\"commandName\":\"App\\\\Jobs\\\\ExampleJob\",\"command\":\"O:19:\\\"App\\\\Jobs\\\\ExampleJob\\\":7:{s:17:\\\"\\u0000*\\u0000userIdentifier\\\";N;s:9:\\\"\\u0000*\\u0000realIp\\\";N;s:12:\\\"\\u0000*\\u0000requestId\\\";N;s:6:\\\"\\u0000*\\u0000job\\\";N;s:10:\\\"connection\\\";N;s:5:\\\"queue\\\";N;s:5:\\\"delay\\\";N;}\"},\"id\":\"bwA7ICPqnjYiM0ErjRBNwn0kVWF6KeAs\",\"attempts\":1}"# 任务执行完毕后, 从 queues:default:reserved zset 中删除"ZREM""queues:default:reserved""{\"job\":\"Illuminate\\\\Queue\\\\CallQueuedHandler@call\",\"data\":{\"commandName\":\"App\\\\Jobs\\\\ExampleJob\",\"command\":\"O:19:\\\"App\\\\Jobs\\\\ExampleJob\\\":7:{s:17:\\\"\\u0000*\\u0000userIdentifier\\\";N;s:9:\\\"\\u0000*\\u0000realIp\\\";N;s:12:\\\"\\u0000*\\u0000requestId\\\";N;s:6:\\\"\\u0000*\\u0000job\\\";N;s:10:\\\"connection\\\";N;s:5:\\\"queue\\\";N;s:5:\\\"delay\\\";N;}\"},\"id\":\"bwA7ICPqnjYiM0ErjRBNwn0kVWF6KeAs\",\"attempts\":1}"# 如果任务失败,会放到 queue:default:delay zset 中"ZADD""queues:default:delayed""1485386783""{\"job\":\"Illuminate\\\\Queue\\\\CallQueuedHandler@call\",\"data\":{\"commandName\":\"App\\\\Jobs\\\\ExampleJob\",\"command\":\"O:19:\\\"App\\\\Jobs\\\\ExampleJob\\\":7:{s:17:\\\"\\u0000*\\u0000userIdentifier\\\";N;s:9:\\\"\\u0000*\\u0000realIp\\\";N;s:12:\\\"\\u0000*\\u0000requestId\\\";N;s:6:\\\"\\u0000*\\u0000job\\\";N;s:10:\\\"connection\\\";N;s:5:\\\"queue\\\";N;s:5:\\\"delay\\\";N;}\"},\"id\":\"uuPBCq4QE9ocnw8UbkLhUl2Lh07yPm6M\",\"attempts\":1}"

Redis 中的数据结构和操作:

1. queue:default

数据结构: List,


操作: LRANGE "queues:default" 0 -1 获取 List 里面的所有数据。


2. queue:default:reserved 和 queue:default:delay

数据结构: Zset,时间是 zset 的 score,通过 score 来排序。


操作: ZRANGE ”queues:default:reserved“ 0 -1 获取 zset 里面的所有数据。 ZRANGEBYSCORE queues:default:reserved -inf +inf 通过时间来排序获取所有数据。


注意

Redis 里面一个任务默认最多执行60秒,如果一个任务60秒没有执行完毕,会继续放回到队列中,循环执行,那酸爽(依稀记得那个加班的夜晚……..) 



个人总结:

有时候发送抛出异常的时候,也会重新指向,不要误以为是timeout = 60 秒的问题,本人 driver 用 database ,因为抛异常了,马上又开始重试了,误以为是timeout 的问题。其实就是抛异常重试。

具体案例是使用队列执行一个导出微信用户列表到 csv,需要进行编码转换,使用 

iconv('utf-8', 'gbk', $value);

因为微信昵称里面有emoji 表情等无法表示的字符,导致报错:PHP iconv(): Unknown error (84)

后来查阅资料:http://blog.51cto.com/ouyangjun/1710598  后,使用此方法解决了。

iconv('utf-8', 'gbk//TRANSLIT//IGNORE', $value);

job就正常了。

有时候多个问题同时发生的时候最难排查,加上阅读了 redis 有60秒超时限制,误认为 database 也有60秒限制。影响排查。

还好之前使用过 job 做过长时间的任务,否则真以为 database 也有60秒默认限制。

参考资料
https://www.lijinma.com/blog/2017/01/31/laravel-queue/
http://blog.51cto.com/ouyangjun/1710598
phpriji.cn | 网站地图 | | 沪ICP备17015433号-1