python使用线程与urllib的例子

发布时间:2020-06-16编辑:脚本学堂
python使用线程与urllib的例子,有需要的朋友不妨参考下。实现功能:将一个filelist.conf中的url取出来,用多线程并行下载,将结果重定向到/dev/null 。

python使用线程与urllib的例子,有需要的朋友不妨参考下。
实现功能:将一个filelist.conf中的url取出来,用多线程并行下载,将结果重定向到/dev/null 。

复制代码 代码如下:
#!/usr/bin/python
import urllib,os,threading
 
proxies={'http': 'http://127.0.0.1:80'}
def processLine(line):
    print "child:",line
    while True:
        fin = urllib.urlopen(line,proxies=proxies)
        while True:
            fout=open('/dev/null', 'w')
            fout.write(fin.read(1024))
 
fileListName = '/tmp/filelist.conf'
 
fileListFile = open( fileListName )
fileNames = fileListFile.readlines()
fileListFile.close()
 
for fileName in fileNames:
    if fileName[-1] == 'n':
        fileName = fileName[0:-1]
        print "Father:",fileName
        processThread = threading.Thread(target=processLine, args=[fileName])
        processThread.daemon = True
        processThread.start()