Scrapy – Vấn đề tràn bộ nhớ khi start_requests với số urls quá lớn

Nếu spider của bạn có số urls khi start_requests quá lớn (>100.000 urls) có thể gây ra các vấn đề về bộ nhớ. Để giải quyết vấn đề này, chúng ta có thể start_requests với số lượng ít url và tiếp tục bổ sung request cho spider về sau.

Xem tiếp >> “Scrapy – Vấn đề tràn bộ nhớ khi start_requests với số urls quá lớn”