听说你又被封 ip 了，你要学会伪装好自己，这次说说伪装你的头部。可惜加了header请求头，加了cookie 还是被限制爬取了。这时就得祭出IP代理池！！！

scrapy里面，对每次请求的url都有一个指纹，这个指纹就是判断url是否被请求过的。默认是开启指纹即一个URL请求一次。如果我们使用分布式在多台机上面爬取数据，为了让爬虫的数据不重复，我们也需要一个指纹。但是scrapy默认...

咱们在平时运行一些长时间都会一直运行的软件（如：某些云同步软件）的时候，某些功能因为考虑的情况可能不充分，导致体验不够好的时候，很多人都会忽视这个问题，除非这个问题影响到他正常使用了。但是也有部分用户会在软件的反馈...

前言：这两天的事情不多，为了避免之前学习的一点点Python知识遗忘，我在Github上找了一些小项目跟着实践。之前的工作有写过相关的Python处理redis处理数据的脚本，但之前没有养成记录积累的习惯，所以~~~~（遗忘了），所以趁此机会...

配置文件中单元大小的解释，不区分大小写# Note on units: when memory size is needed, it is possible to specify # it in the usual form of 1k 5GB 4M and so forth: # # 1k => 1000 byte......

最常用的一种就是主从分布式爬虫，本文将使用Redis服务器来作为任务队列。 如图：

make install会把redis.so放在 /usr/local/php7/lib/php/extensions/no-debug-zts-20160303/ 中

感觉到答案说出来对方会不待见的时候，可以这么做：有关联性的答非所问，注意强调自己的想法，争取让面试官能够共情，比如深圳的房价可以引人共情、电商相关的大平台、稳定、有上升空间等。...

什么是Redis  Redis首先是一个存储数据库，数据在缓存在内存中，数据是K-V结构。Redis的使用Redis安装使用Redis的数据类型类型描述备注string字符串K-V 最大值存储512Mlist简单字符串列表，可以将元素添加最左边或者右边...

SAVE(同步回写)和 BGSAVE(异步回写) 两个命令都会调用 rdbSave 函数，它们都实现RDB持久化，但它们调用的方式各有不同：