博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python 利用urllib2通过指定网页访问url,并捕获内容
阅读量:6952 次
发布时间:2019-06-27

本文共 1232 字,大约阅读时间需要 4 分钟。

  hot3.png

# python 2.7.11import urllibimport urllib2# 文件编码获取工具import chardet# 利用请求的url地址,创建一个url对象url = urllib2.Request('http://www.baidu.com')# 访问请求的url对象,并获取一个应答对象(应答对象相当于一个文件对象)response = urllib2.urlopen(url)# 利用response的read() 方法获取文件内容htmlConcent = response.read()print htmlConcent#  post 带参数的post请求url = 'https://gpay.gyyx.cn/'value = {    'account': 'da',    'location': 'SDU',    'logmain.log': 'python'}# 参数编码data = urllib.urlencode(value)# 发送请求同时传递参数req  = urllib2.Request(url, data)# 接受反馈的信息response = urllib2.urlopen(req)# 读取反馈的内容test  = response.read();# get 带参数的get请求data = {}data['name'] = '张三'data['pass'] = '李四'# 参数编码val_values = urllib.urlencode(data)url = 'http://www.baidu.com'# 参数合进urlfull_url = url + "?" + val_values# 打开urldata = urllib2.urlopen(full_url)# 带header报文头的url 请求url = 'http://www.someserver.com/cgi-bin/register.cgi'# 报文头内容user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'values = {'name' : 'WHY',          'location' : 'SDU',          'language' : 'Python' }headers = { 'User-Agent' : user_agent }data = urllib.urlencode(values)# 创建Request时加入header 报文头req = urllib2.Request(url, data, headers)response = urllib2.urlopen(req)the_page = response.read()

转载于:https://my.oschina.net/myzyq/blog/638967

你可能感兴趣的文章
Eclipse设置智能提示
查看>>
SAP 生产订单变更管理 OCM Order Changement Management
查看>>
虚拟化这八年-【软件和信息服务】2014.11
查看>>
使用swfupload上传超过30M文件,使用FLASH上传组件
查看>>
OkHttp简介
查看>>
如何使用通用Mapper
查看>>
MYSQL建表语法(主键,外键,联合主键)
查看>>
linux基础-第十单元 系统的初始化和服务
查看>>
多线程的通信和同步(Java并发编程的艺术--笔记)
查看>>
Python格式化输出
查看>>
Linux使用du和df查看磁盘和文件夹占用空间
查看>>
java 消息机制 ActiveMQ入门实例
查看>>
CentOS 6.6 MySQL install
查看>>
从零开始用gulp
查看>>
android之Activity的生命周期
查看>>
hadoop2.4 支持snappy
查看>>
java 又一次抛出异常 相关处理结果演示样例代码
查看>>
STL 笔记(四) 迭代器 iterator
查看>>
2017"百度之星"程序设计大赛 - 复赛1003&&HDU 6146 Pokémon GO【数学,递推,dp】
查看>>
开源倾情奉献:基于.NET打造IP智能网络视频监控系统
查看>>