Python爬蟲 爬蟲請求管理
一.課程介紹
1.爬蟲中的請求管理課程概要.mp4
二.請求管理簡介

2.請求管理簡介.mp4
3.請求去重管理簡介.mp4
4.去重方案代碼調用.mp4
5.請求去重的判斷依據與實現邏輯.mp4
6.請求去重代碼初步實現.mp4
7.請求判斷依據數據處理邏輯分析.mp4
8.請求判斷依據數據處理邏輯實現.mp4
9.請求去重模塊測試(一) .mp4
10.請求去重模塊測試(二) .mp4
11.請求緩沖與調度管理分析.mp4
12.請求調度原理分析.mp4
三.隊列與Python
13.python中臨時隊列介紹.mp4
14.python中持久化隊列介紹.mp4
15.基于redis實現隊列的原理. mp4
16.基于redis實現FIFO、LIFO隊列.mp4
17.基于redis實現優先級隊列的原理.mp4
18.基于redis的優先級隊列實現.mp4
19.redis共享資源競爭問題.mp4
20.redis共享資源競爭問題解決方案.mp4
21.redis分布式鎖實現原理.mp4
22.redis分布式鎖注意實現以及死鎖.mp4
23.redis分布式鎖實現.mp4
24.redis分布式鎖使用測試與bug調試.mp4
25.redis分布式鎖實現(補充) .mp4
26.解決redis優先級隊列中的資源競爭問題.mp4
27.redis優先級隊列測試與總結.mp4
28.請求管理整體實現方案分析.mp4
29.請求管理代碼實現分析.mp4
30.請求管理模塊使用測試.mp4

四.消息隊列與Python
32.消息隊列介紹.mp4
33.kafka工作原理介紹(一) .mp4
34.kafka工作原理介紹(二) .mp4
35.kafka工作原理介紹(三) .mp4
36.kafka工作環境搭建介紹.mp4
37.利用docker-compose啟動kafka.mp4
38.confluent-kafka-python安裝與使用.mp4
39.Docker中利用橋接網絡模式啟動kafka.mp4
40.kafka的分區特征介紹.mp4
41.向指定的分區生產和消費數據mp4
42.kafka的消費者組的特征.mp4
43.kafka中消費者數量與topic分區數之間的關系.mp4
44.abbitmq工作原理介紹.mp4
45.rabbitmq工作環境搭建介紹.mp4
46.基于pika實現生產者與消費者.mp4
47.rabbitmq中隊列的特征.mp4
48.rabbitmq中消費者的ack確認機制.mp4
49.rabbitmq中的直連交換機.mp4
50.rabbitmq中的主題交換機.mp4
51.rabbitmq中的扇形交換機.mp4
52.rabbitmq中的首部交換機.mp4
53.消息隊列與請求管理實現總結.mp4

五.斷點績爬與增量抓取
54.利用請求管理實現斷點續爬、增量抓取的思路分析.mp4

六.總結