记一次爬虫

更新:

距离403已经过去了两小时左右,我又可以访问了!!

本着做一个能让博客背景随机图片的api的想法,我开始了人生中第一次爬虫。上个星期刚学的Python爬虫,还没学完技术属实有点不到位,测试的次数多了点,然后就被封ip了!!

被封咯

以图片形式存bing每日一图

在网上看了很多bing图片的api,在网上找了一个很良心的站长的图片开始了我的爬虫之路

import requests
from bs4 import BeautifulSoup
import os

def get_html(url):
    headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36'}
    r = requests.get(url, headers=headers)
    return r.content

def download(text):
    soup = BeautifulSoup(text, 'html.parser')
    items = soup.find_all("img")
    path = "E:\\bing\\"
    if os.path.exists(path) == False:
        os.makedirs(path)
    for item in items:
        if item:
            html = requests.get(item.get('src'))
            img_name = path + str(item.get('src'))[24:41] +'.png'
            with open(img_name, 'wb') as file:
                file.write(html.content)
                file.flush()
            file.close()
                

def main():
    for i in range(1,124):
        url = 'https://bing.ioliu.cn/ranking?p={}'.format(i)
        text = get_html(url)
        download(text)
        print("第{}页下载完成".format(i))

if __name__ == "__main__":
    main()

这段代码是把他以照片的形式下载下来,我转念一想,我还要全部上传到服务器一个个的获取图片的url,太过于复杂,于是我就……

爬取每张图片的url

import requests
from bs4 import BeautifulSoup
import os

def get_html(url):
    headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36'}
    r = requests.get(url, headers=headers)
    return r.content

def download(text):
    soup = BeautifulSoup(text, 'html.parser')
    items = soup.find_all("img")
    for item in items:
        if item:
            img = str(item.get('src'))
            img_url = img.strip('640x480.jpg?imageslim')
            img_url += '1920x1080.jpg?imageslim'
            f = open('imgurl.txt', 'a')
            f.write(img_url + '\n')
            f.close



def main():
    for i in range(1,124):
        url = 'https://bing.ioliu.cn/ranking?p={}'.format(i)
        text = get_html(url)
        download(text)
        print("第{}页下载完成".format(i))

if __name__ == "__main__":
    main()

我就把他所有的图片url给存下来了,没错文章头图就是爬取后的结果,然后正在我感受到喜悦的同时,我的ip被封了,不过这些图片还都可以访问,没算白干。技术不到位,还有待提升!

不过最终我还是获得了我想要的随机api

随机图片api测试

1474张呢,够我玩耍了。

http://www.wu555.ink/random

本文链接: https://blog.wubuster.com/archives/89.html
1 + 5 =
4 评论
    RoyceChrome 82Windows 10
    3月27日 回复

    大佬啊

      IamWu555Safari 13iPhone
      3月27日 回复

      @Royce 最近才学了

    L先生QQ Browser 6Android O
    3月24日 回复

    眯觉了 拜拜

      IamWu555Chrome 69Android O
      3月24日 回复

      @L先生