您好,匿名用户
随意问技术百科期待您的加入

这个python写的网络爬虫为何不能运行?

0 投票
import urllib2
url='http://www.baidu.com/s?wd=cloga'
content=urllib2.urlopen(url).read()
import re
urls_pat=re.compile(r'<span class="g">(.*?)</span>')
siteUrls=re.findall(results_pat,content)
strip_tag_pat=re.compile(r'<.*?>')
file=open('results000.csv','w')
for i in results:
    i0=re.sub(strip_tag_pat,'',i)
    i0=i0.strip()
    i1=i0.split(' ')
    date=i1[-1]
    siteUrl=''.join(i1[:-1])
    rank+=1
    file.write(date+','+siteUrl+','+str(rank)+'\n')
file.close()
用户头像 提问 2012年 12月1日 @ Pantheon 上等兵 (388 威望)
分享到:

1个回答

0 投票

下面的内容主要提及3点:

  1. 变量命名方式
  2. 代码格式化
  3. 问题解答

变量命名方式

总所周知,变量(包括函数等)命名方式主要有两种:驼峰式和下划线式。两种方式都是可以接受的,但是我很难接受提问者在代码中既使用驼峰式又使用下划线式的风格。

代码格式化

就算是发布的问题代码,也需要讲究美观的吧?!个人比较倾向使用https://code.google.com/p/google-styl... 中介绍的编码方式。简单说几点,比如:

siteUrls=re.findall(urls_pat,content)

最好写成

siteUrls = re.findall(urls_pat, content)

根据自己情况适当对操作符和标点(如,)进行格式化。

问题解答

显而易见,该代码是无法正常运行的。第一个问题是第六行中results_pat应该改成urls_pat;第二个问题,第九行results更改为siteUrls;第三个问题,第九行前加入rank = 0
其实该代码的目的是提取出指定百度搜索页面的所有链接以及日期,至于rank,我的猜测是顺序,不知是否正确。

最后批评一下楼主提问的态度。

用户头像 回复 2012年 12月1日 @ Corki 上等兵 (263 威望)
提一个问题:

相关问题

0 投票
1 回复 51 阅读
用户头像 提问 2013年 10月10日 @ Kog'Maw 上等兵 (212 威望)
0 投票
1 回复 53 阅读
0 投票
1 回复 8 阅读
用户头像 提问 2014年 5月26日 @ Lady 上等兵 (162 威望)
0 投票
1 回复 38 阅读
用户头像 提问 2013年 9月23日 @ Fizz 上等兵 (325 威望)
0 投票
1 回复 52 阅读

欢迎来到随意问技术百科, 这是一个面向专业开发者的IT问答网站,提供途径助开发者查找IT技术方案,解决程序bug和网站运维难题等。
温馨提示:本网站禁止用户发布与IT技术无关的、粗浅的、毫无意义的或者违法国家法规的等不合理内容,谢谢支持。

欢迎访问随意问技术百科,为了给您提供更好的服务,请及时反馈您的意见。
...