python获取超链接信息_BeautifulSoup分析网页中超链接的方法

发布时间:2020-10-16编辑:脚本学堂
分享二个python获取网页中超链接信息的例子,python使用BeautifulSoup分页网页中超链接,python实现网页链接提取的方法,供大家学习参考。

一、python使用BeautifulSoup模块分析网页中的超级链接

输出指定网页上包括某url的超链接

代码:
 

复制代码 代码示例:
from BeautifulSoup import BeautifulSoup
import urllib2
import re
url = urllib2.urlopen("http://www.jb200.com")
content = url.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
  if re.findall('sharejs', a['href']):
    print "Found the URL:", a['href']

二、python提取网页链接

python实现的网页链接提取的方法

代码:
 

复制代码 代码示例:

#!/usr/bin/python

#encoding:utf-8
import socket
import htmllib,formatter
def open_socket(host,servname):
    s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    port=socket.getservbyname(servname)
    s.connect((host,port))
    return s
host=''
host=input('请输入网址n')
mysocket=open_socket(host,'http')
message='GET http://%s/nn'%(host,)
mysocket.send(message)
file=mysocket.makefile()
htmldata=file.read()
file.close()
parser=htmllib.HTMLParser(formatter.NullFormatter()) 
parser.feed(htmldata)
print 'n'.join(parser.anchorlist)
parser.close()