python beautifulsoup爬虫程序获取百度搜索结果

发布时间:2020-01-29编辑:脚本学堂
一段python代码,使用beautifulsoup爬虫程序获取百度搜索结果的标题、描述、url,需要的朋友参考下。

使用beautifulsoup实现的一段python爬虫程序

代码:
 

复制代码 代码示例:

#!/bin/bash
#coding: utf-8

import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

question_word = "plc 学堂"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
    a_click = result_table.find("a")
    print "-----标题----n" + a_click.renderContents()#标题
    print "----链接----n" + str(a_click.get("href"))#链接
    print "----描述----n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
    print