urllib提供了一系列用于操作URL的功能。通过urllib我们可以很方便的抓取网页内容。

    抓取网页内容

    3. import urllib.request
    5. url = 'https://api.douban.com/v2/book/2129650'
    7. with urllib.request.urlopen(url) as f:
    8.     headers = f.getheaders() # 报文头部
    9.     body = f.read() # 报文内容
    11.     print(f.status, f.reason) # 打印状态码、原因语句
    12.     for k,v in headers:
    13.         print(k + ': ' + v)
    15.     print(body.decode('utf-8'))

    抓取百度搜索图片

    1. import urllib.request
    2. import os
    3. import re
    4. import time
    5. url=r'http://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1488722322213_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E5%A3%81%E7%BA%B8%E5%B0%8F%E6%B8%85%E6%96%B0&f=3&oq=bizhi%E5%B0%8F%E6%B8%85%E6%96%B0&rsp=0'
    7. imgPath=r'E:\img'
    9. if not os.path.isdir(imgPath):
    10.     os.mkdir(imgPath)
    12. imgHtml=urllib.request.urlopen(url).read().decode('utf-8')
    13. #test html
    14. #print(imgHtml)
    15. urls=re.findall(r'"objURL":"(.*?)"',imgHtml)
    17. index=1
    18. for url in urls:
    19.     print("下载:",url)
    21.     #未能正确获得网页 就进行异常处理
    22.     try:
    23.         res=urllib.request.urlopen(url)
    25.         if str(res.status)!='200':
    26.             print('未下载成功：',url)
    27.             continue
    28.     except Exception as e:
    29.         print('未下载成功：',url)
    31.     filename=os.path.join(imgPath,str(time.time()) + '_' + str(index)+'.jpg')
    32.     with open(filename,'wb') as f:
    33.         f.write(res.read())
    34.         print('下载完成\n')
    35.         index+=1
    36. print("下载结束，一共下载了 %s 张图片"% (index-1))

    python2.7的用户需要把urllib.request替换成urllib。

    批量下载图片

    1. # coding: utf-8
    2. import os,urllib.request
    4. url_path = 'http://www.ruanyifeng.com/images_pub/'
    6. imgPath=r'E:\img'
    7. if not os.path.isdir(imgPath):
    8.     os.mkdir(imgPath)
    10. index=1
    11. for i in range(1,355):
    12.     url = url_path + 'pub_' + str(i) + '.jpg'
    13.     print("下载:",url)
    15.     try:
    16.         res = urllib.request.urlopen(url)
    17.         if(str(res.status) != '200'):
    18.             print("下载失败:", url)
    19.             continue
    20.     except:
    21.         print('未下载成功：',url)
    23.     filename=os.path.join(imgPath,str(i)+'.jpg')
    24.     with open(filename,'wb') as f:
    25.         f.write(res.read())
    26.         print('下载完成\n')
    27.         index+=1
    28. print("下载结束，一共下载了 %s 张图片"% (index-1))

    模拟GET请求附带头信息

    urllib.request.Request实例化后有个add_header()方法可以添加头信息。

    1. # coding: utf-8
    2. import urllib.request
    4. url = 'http://www.douban.com/'
    6. req = urllib.request.Request(url)
    7. req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
    9. with urllib.request.urlopen(req) as f:
    10.     headers = f.getheaders()
    11.     body = f.read()
    12.     print(f.status, f.reason)
    13.     for k,v in headers:
    14.         print(k + ': ' + v)
    16.     print(body.decode('utf-8'))

    这样会返回适合iPhone的移动版网页。

    发送POST请求

    urllib.request.urlopen()第二个参数可以传入需要post的数据。

    1. #!/usr/bin/python
    2. # -*- coding: utf-8 -*-
    3. import json
    4. from urllib import request
    5. from urllib.parse import urlencode
    7. #----------------------------------
    8. # 手机号码归属地调用示例代码 － 聚合数据
    9. # 在线接口文档：http://www.juhe.cn/docs/11
    10. #----------------------------------
    12. def main():
    14.     #配置您申请的APPKey
    15.     appkey = "*********************"
    17.     #1.手机归属地查询
    18.     request1(appkey,"GET")
    20. #手机归属地查询
    21. def request1(appkey, m="GET"):
    22.     url = "http://apis.juhe.cn/mobile/get"
    23.     params = {
    24.         "phone" : "", #需要查询的手机号码或手机号码前7位
    25.         "key" : appkey, #应用APPKEY(应用详细页查询)
    26.         "dtype" : "", #返回数据的格式,xml或json，默认json
    28.     }
    29.     params = urlencode(params).encode('utf-8')
    31.     if m =="GET":
    32.         f = request.urlopen("%s?%s" % (url, params))
    33.     else:
    34.         f = request.urlopen(url, params)
    36.     content = f.read()
    37.     res = json.loads(content.decode('utf-8'))
    38.     if res:
    39.         error_code = res["error_code"]
    40.         if error_code == 0:
    41.             #成功请求
    42.             print(res["result"])
    43.         else:
    44.             print("%s:%s" % (res["error_code"],res["reason"]) )
    45.     else:
    46.         print("request api error")
    48. if __name__ == '__main__':
    49.     main()

    Requests

    虽然Python的标准库中urllib2模块已经包含了平常我们使用的大多数功能，但是它的API使用起来让人实在感觉不好。它已经不适合现在的时代，不适合现代的互联网了。而Requests的诞生让我们有了更好的选择。

    正像它的名称所说的，HTTP for Humans,给人类使用的HTTP库！在Python的世界中，一切都应该简单。Requests使用的是urllib3，拥有了它的所有特性，Requests 支持 HTTP 连接保持和连接池，支持使用 cookie 保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。现代、国际化、人性化。

    官网：http://python-requests.org/
    文档：
    Github主页：https://github.com/kennethreitz/requests

    需要先安装：

    1. $ pip3 install requests
    2. Collecting requests
    3.   Downloading requests-2.13.0-py2.py3-none-any.whl (584kB)
    4.     100% |████████████████████████████████| 593kB 455kB/s
    5. Installing collected packages: requests
    6. Successfully installed requests-2.13.0

    请求示例

    1. #!/usr/bin/python
    2. # -*- coding: utf-8 -*-
    3. import requests
    5. url = 'https://api.github.com/user'
    6. # r = requests.request('get', url, auth=('52fhy', ''))
    7. r = requests.get(url, auth=('', ''))
    8. print('Status: %s' % r.status_code) # 状态码
    9. # 头信息
    10. for k,v in r.headers.items():
    11.     print(k + ': ' + v)
    13. print('encoding: ' , r.encoding)
    14. print('body: ' , r.text)
    15. print('json body: ' , r.json())

    POST请求

    基于表单的：

    1. # coding: utf-8
    2. import requests
    4. payload = {'name': 'python', 'age': '11'}
    5. r = requests.post("http://httpbin.org/post", data=payload)
    6. print(r.text)

    基于text的：

    1. # coding: utf-8
    2. import requests,json
    4. payload = {'name': 'python', 'age': '11'}
    5. r = requests.post("https://api.github.com/some/endpoint", data=json.dumps(payload))
    6. print(r.text)

    hashlib

    1. import hashlib
    3. md5 = hashlib.md5()
    4. md5.update('how to use md5 in python hashlib?'.encode('utf-8'))
    5. print(md5.hexdigest())

    结果如下：

    1. d26a53750bc40b38b65a520292f69306

    update()，用于将内容分块进行处理，适用于大文件的情况。示例：

    1. import hashlib
    3. def get_file_md5(f):
    4.     m = hashlib.md5()
    6.     while True:
    7.         data = f.read(10240)
    8.         if not data:
    9.             break
    11.         m.update(data)
    12.     return m.hexdigest()
    15. with open(YOUR_FILE, 'rb') as f:
    16.     file_md5 = get_file_md5(f)

    对于普通字符串的md5，可以封装成函数：

    1. def md5(string):
    2.     import hashlib

    SHA1

    1. import hashlib
    3. sha1 = hashlib.sha1()
    4. sha1.update('py'.encode('utf-8'))
    5. sha1.update('thon'.encode('utf-8'))
    6. print(sha1.hexdigest())

    等效于：

    1. hashlib.sha1('python'.encode('utf-8')).hexdigest()

    SHA1的结果是160 bit字节，通常用一个40位的16进制字符串表示。

    此外，hashlib还支持sha224, sha256, , sha512。

    Base64是一种用64个字符来表示任意二进制数据的方法。Python内置的base64可以直接进行base64的编解码：

    1. >>> import base64
    2. >>> base64.b64encode(b'123')
    3. b'MTIz'
    4. >>> base64.b64decode(b'MTIz')
    5. b'123'

    由于标准的Base64编码后可能出现字符+和/，在URL中就不能直接作为参数，所以又有一种”url safe”的base64编码，其实就是把字符+和/分别变成-和_：

    1. >>> base64.b64encode(b'i\xb7\x1d\xfb\xef\xff')
    2. b'abcd++//'
    3. >>> base64.urlsafe_b64encode(b'i\xb7\x1d\xfb\xef\xff')
    4. b'abcd--__'
    5. >>> base64.urlsafe_b64decode('abcd--__')
    6. b'i\xb7\x1d\xfb\xef\xff'

    时间日期

    该部分在前面的笔记里已做详细介绍：

    1. # coding:utf-8
    2. import time
    4. # 获取时间戳
    5. timestamp = time.time()
    6. print(timestamp)
    8. # 格式时间
    9. print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()))
    11. # 返回当地时间下的时间元组t
    12. print(time.localtime())
    14. # 将时间元组转换为时间戳
    15. print(time.mktime(time.localtime()))
    16. t = (2017, 2, 11, 15, 3, 38, 1, 48, 0)
    17. print(time.mktime(t))
    19. # 字符串转时间元组：注意时间字符串与格式化字符串位置一一对应
    20. print(time.strptime('2017 02 11', '%Y %m %d'))
    22. # 睡眠
    23. print('sleeping...')
    24. time.sleep(2) # 睡眠2s
    25. print('sleeping end.')

    输出：

    datetime

    方法概览：

    1. datetime.now() # 当前时间，datetime类型
    2. datetime.timestamp() # 时间戳，浮点类型
    3. datetime.strftime('%Y-%m-%d %H:%M:%S') # 格式化日期对象datetime，字符串类型
    4. datetime.strptime('2017-2-6 23:22:13', '%Y-%m-%d %H:%M:%S') # 字符串转日期对象
    5. datetime.fromtimestamp(ts) # 获取本地时间，datetime类型
    6. datetime.utcfromtimestamp(ts) # 获取UTC时间，datetime类型

    示例：

    1. # coding: utf-8
    3. from datetime import datetime
    4. import time
    6. now = datetime.now()
    7. print(now)
    9. # datetime模块提供
    10. print(now.timestamp())
    1. 2017-02-06 23:26:54.631582
    2. 1486394814.631582

    小数位表示毫秒数。

    PIL(Python Imaging Library)已经是Python平台事实上的图像处理标准库了。PIL功能非常强大,但API却非常简单易用。

    安装：

    1. $ pip install Pillow
    3. Collecting Pillow
    4.   Downloading Pillow-4.0.0-cp34-cp34m-win32.whl (1.2MB)
    5. Successfully installed Pillow-4.0.0

    图像缩放：

    1. # coding: utf-8
    2. from PIL import Image
    3. im = Image.open('test.jpg')
    4. print(im.format, im.size, im.mode)
    5. im.thumbnail((200, 100))
    6. im.save('thumb.jpg', 'JPEG')

    模糊效果：

    1. # coding: utf-8
    2. from PIL import Image,ImageFilter
    3. im = Image.open('test.jpg')
    4. im2 = im.filter(ImageFilter.BLUR)
    5. im2.save('blur.jpg', 'jpeg')

    验证码：

    1. from PIL import Image, ImageDraw, ImageFont, ImageFilter
    3. import random
    5. # 随机字母:
    6. def rndChar():
    7.     return chr(random.randint(65, 90))
    9. # 随机颜色1:
    10. def rndColor():
    11.     return (random.randint(64, 255), random.randint(64, 255), random.randint(64, 255))
    13. # 随机颜色2:
    14. def rndColor2():
    15.     return (random.randint(32, 127), random.randint(32, 127), random.randint(32, 127))
    17. # 240 x 60:
    18. width = 60 * 4
    19. height = 60
    20. image = Image.new('RGB', (width, height), (255, 255, 255))
    21. # 创建Font对象:
    22. font = ImageFont.truetype('Arial.ttf', 36)
    23. # 创建Draw对象:
    24. draw = ImageDraw.Draw(image)
    25. # 填充每个像素:
    26. for x in range(width):
    27.     for y in range(height):
    28.         draw.point((x, y), fill=rndColor())
    29. # 输出文字:
    30. for t in range(4):
    31.     draw.text((60 * t + 10, 10), rndChar(), font=font, fill=rndColor2())
    32. # 模糊:
    33. image = image.filter(ImageFilter.BLUR)
    34. image.save('code.jpg', 'jpeg')

    注意示例里的字体文件必须是绝对路径。

    下载

    you-get

    安卓you-get

      需要有ffmpeg的支持。windows下载地址：
      https://ffmpeg.zeranoe.com/builds/win64/static/ffmpeg-3.4.1-win64-static.zip
      解压后添加环境变量，例如：

      然后就可以下载各大视频网站的视频了。示例：

      如果提示201:客户端未授权，可以安装Adobe Flash Player 28 PPAPI试试。

      如果你在使用Mac，可以下载客户端：

      作者： 飞鸿影
      版权：本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。
      出处：https://www.cnblogs.com/52fhy/p/6507378.html