пильнул код ниже на скорую руку, как видно я передаю массив в map для дальнейшего разветвления на потоки и дальнейшую обработку, массив обычный имеющий в себе обыкновенные ссылки, но получаю ошибку:
maximum recursion depth exceeded
import requests
from bs4 import BeautifulSoup
from multiprocessing import Pool
import argparse
import sys
import re
class Grab():
source = None
def __init__(self, threads):
r = requests.get('https://site.org/list/')
if r.status_code != 200:
sys.exit('Error for loading kurs.expert')
self.source = BeautifulSoup(r.text, "html.parser")
self.links = []
for table_row in self.source.select("a.text-gray"):
# self.links.append(table_row['href'].__str__().replace('/-3',''))
r = requests.get(table_row['href'])
m = re.search('DDoS protection by Cloudflare', r.text)
if m == None:
self.links.append(r.url)
print(self.links)
if not threads:
threads = 10
with Pool(int(threads)) as p:
p.map(self.make_all, self.links)
def make_all(self, link):
print(link)
if __name__ == "__main__":
Grab(10)
