稳定平台有没有:第一只python爬虫

分分彩技巧 www.kqa8.cn   经过了好久终于又开始续学Python,每天工作压力很大就算有时间感觉也没有多余精力学习。
这两天在网易云课堂买了一份Excel Power Pivot的教程给竞价岗位学,顺便看见了Python爬虫的教程就看了看,感觉之前的书是没有白看的。
学程序实操视频带来的教学比较适合我,除了能学到实际的教程外,可以看到高手们的编程思路,输写过程,很舒服。

  这个是针对新浪的页面写的,原来BeautifulSoup能识别css和html标签,和之前玩的火车头及织梦采集相比,高明太多,怪不得是神器。

12345678910111213141516
import requestsfrom bs4 import BeautifulSoup def getNewsDetail(newsurl): result = {} res = requests.get(newsurl) res.encoding = 'utf-8' soup = BeautifulSoup(res.text, 'html.parser') result['title'] = soup.select('#artibodyTitle')[0].text result['newssource'] = soup.select('.time-source span a')[0].text timesource = soup.select('.time-source')[0].contents[0].strip() result['dt'] = datetime.strptime(timesource, '%Y年%m月%d日%H:%M') result['article'] = ' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]]) result['editor'] = soup.select('.article-editor')[0].text.strip('责任编辑:') result['comments'] = getCommentCounts(newsurl) return result

雾中有雾 釉里有釉

发表评论

电子邮件地址不会被公开。 必填项已用*标注

返回主页看更多 分分彩技巧
  • 日本民族将会为最终拥核而战!现在日本保有47吨钚足己制造6000枚核弹,并且日本具有资金和技术优势一星期之內就可拥核!冷眼细观世界笑骂指点江山 ... 2019-06-11
  • 辽宁学习十九大精神嵌套页面--辽宁频道--人民网 2019-06-10
  • 中央纪委通报11起违反中央八项规定精神问题 2019-06-07
  • 这论坛需要风水们创新、发展,他们也只能靠这个了······ 2019-06-07
  • 姚晨马伊琍首次对戏大银幕 2019-06-06
  • 特朗普下令美国防部组建第六军种“太空军” 2019-05-31
  • 这三个字,是习近平生态文明思想的中心 2019-05-31
  • 西部网评论频道——《华山论见》投稿启事 2019-05-31
  • 宜春通报7起作风问题典型案例 2019-05-29
  • 创新基层党建 引领社会治理brspan style=font-family 宋体,SimSun; font-size 14px;——关于重庆南岸区基层党组织社会治理经验的调研报告span 2019-05-29
  • 员工持股计划再现大股东“兜底”:保本+年化收益10% 2019-05-29
  • 热刺班底领衔 抽上签的“欧洲中国队”能否破尴尬纪录 2019-05-29
  • 过端午到沁县 观龙舟竞赛 2019-05-28
  • 你是哪儿农民?请说实话[微笑] 2019-05-25
  • 坚持思想建党 推进理论强党 2019-05-25
  • 271| 638| 646| 890| 879| 11| 172| 502| 666| 782|