Python标准库 urllib
阅读原文时间:2023年07月08日阅读:2

urllib是python的一个获取url的模块。它用urlopen函数的形式提供了一个非常简洁的接口。这使得用各种各样的协议获取url成为可能。它同时 也提供了一个稍微复杂的接口来处理常见的状况-如基本的认证,cookies,代理,等等。这些都是由叫做opener和handler的对象来处理的。

urllib


import urllib
s = urllib.urlopen('http://tieba.baidu.com/p/3606519228')
print s.read() #将会打印出整个文件的html源代码

s.readline() #打印Html代码的第一行
s.getcode() #返回Http状态码。如果是http请求,200请求成功完成;404网址未找到
s.info() #返回一个httplib.HTTPMessage对象,表示远程服务器返回的头信息
s.geturl() #返回请求的url

>>> s = urllib.urlopen('http://www.alwme.com/')

byte = s.read()
print("从 %s 上获取了 %s 字节") % (s.geturl(),len(byte))
http://alwme.com/ 上获取了 26834 字节

urlretrieve方法将url定位到的html文件下载到你本地的硬盘中,如果不指定filename,则会存为临时文件。

urlretrieve() 返回一个二元组

临时存放:

>>> filename = urllib.urlretrieve('http://www.alwme.com/')

type(filename)

print filename
('/tmp/tmpaOdE2g', )

存为本地文件:

>>> filename = urllib.urlretrieve('http://www.alwme.com/',filename='/home/zhg/temptest/alwme.html')

type(filename)

print filename
('/home/zhg/temptest/alwme.html', )

urllib.urlcleanup() #清除由于urllib.urlretrieve()所产生的缓存