爬取图虫网的美女图片脚本

非法程序、

美女图片比较正经，脚本自动跳过只有一张图片的专题。爬下来的图片是.webp格式的，容量小。我看了一下，大概100页左右，爬完一共600多M
感觉质量不行。权当练手吧。

1. import os
   
2. import time
   
3. import requests
   
4. import re
   
5. from concurrent.futures import ThreadPoolExecutor
   
6. 
   
7. # 处理目录非法字符
   
8. def normalize_directory_name(name):
   
9.     # 使用正则表达式替换非法字符为空格
   
10.     cleaned_name = re.sub(r'[\\/:*?"<>|]', ' ', name)
    
11.     # 去除多余的空格，并限制长度为100个字符
    
12.     normalized_name = re.sub(r'\s+', ' ', cleaned_name).strip()[:100]
    
13.     return normalized_name
    
14. 
    
15. def download_image(image_info):
    
16.     user_id = image_info['user_id']
    
17.     img_id_str = image_info['img_id_str']
    
18.     img_url = f'https://photo.tuchong.com/{user_id}/f/{img_id_str}.webp'
    
19.     image_data = requests.get(url=img_url, proxies=None).content
    
20.     return img_id_str, image_data
    
21. 
    
22. for k in range(1, 99):
    
23.     url = f'https://tuchong.com/rest/tags/%E7%BE%8E%E5%A5%B3/posts?page={k}&count=20&order=weekly&before_timestamp='
    
24. 
    
25.     response = requests.get(url=url)
    
26.     json_data = response.json()
    
27. 
    
28.     post_list = json_data['postList']
    
29. 
    
30.     with ThreadPoolExecutor() as executor:
    
31.         futures = [executor.submit(download_image, image_info) for post in post_list for image_info in post.get('images', [])]
    
32. 
    
33.         for future in futures:
    
34.             img_id_str, image_data = future.result()
    
35. 
    
36.             # 获取帖子标题
    
37.             for post in post_list:
    
38.                 images = post.get('images', [])
    
39.                 if len(images) <= 1:
    
40.                     continue
    
41.                 if any(image_info['img_id_str'] == img_id_str for image_info in images):
    
42.                     title = post['title']
    
43.                     if not title:  # 如果标题为空，则用用户ID替代
    
44.                         title = post['author_id']
    
45.                     title = normalize_directory_name(title)
    
46.                     image_dir = f'G:/tuchongspider/{title}'
    
47.                     if not os.path.exists(image_dir):
    
48.                         os.makedirs(image_dir)
    
49. 
    
50.                     image_path = f'{image_dir}/{title}-{img_id_str}.webp'
    
51.                     with open(image_path, 'wb') as f:
    
52.                         f.write(image_data)
    
53. 
    
54.                     print(f'Downloaded {img_id_str}.webp')
    
55.                     break

复制代码