玩分分彩的经历:第一只python爬虫

分分彩技巧 www.kqa8.cn   经过了好久终于又开始续学Python,每天工作压力很大就算有时间感觉也没有多余精力学习。
这两天在网易云课堂买了一份Excel Power Pivot的教程给竞价岗位学,顺便看见了Python爬虫的教程就看了看,感觉之前的书是没有白看的。
学程序实操视频带来的教学比较适合我,除了能学到实际的教程外,可以看到高手们的编程思路,输写过程,很舒服。

  这个是针对新浪的页面写的,原来BeautifulSoup能识别css和html标签,和之前玩的火车头及织梦采集相比,高明太多,怪不得是神器。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import requests
from bs4 import BeautifulSoup
 
def getNewsDetail(newsurl):
    result = {}
    res = requests.get(newsurl)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    result['title'] = soup.select('#artibodyTitle')[0].text
    result['newssource'] = soup.select('.time-source span a')[0].text
    timesource = soup.select('.time-source')[0].contents[0].strip()
    result['dt'] = datetime.strptime(timesource, '%Y年%m月%d日%H:%M')
    result['article'] = ' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
    result['editor'] = soup.select('.article-editor')[0].text.strip('责任编辑:')
    result['comments'] = getCommentCounts(newsurl)
    return result

雾中有雾 釉里有釉

发表评论

电子邮件地址不会被公开。 必填项已用*标注

返回主页看更多 分分彩技巧
  • 失窃案牵出地下药品交易链 2018-11-24
  • 太原网友:谁来管管逢雨必淹的山大附小周边 2018-11-15
  • [福]什么是“幸福”?这两个字所表示的直接含义就是:“幸”是指机会,“福”就是指拜求神赐田地生长粮棉等生物而足食丰衣。 2018-11-15
  • 中国人性格比较隐忍,当积怨越来越深,隐忍到一定程度就会像炸弹一样爆发控制不了,为时过晚了 2018-11-10
  • 【超级工程】航拍重庆第一高桥——笋溪河特大桥(图) 2018-10-11
  • 传媒期刊秀:《新闻战线》 2018-10-11
  • 苹果 iPhone 7(全网通)【报价 图片 参数 评测】 2018-10-07
  • 虾仁怎么炒最下饭?答案是宫保-美食资讯 2018-09-27
  • 【“健”识早知道】“垃圾睡眠”比失眠还可怕?四招助你一夜好眠! 2018-09-27
  • 云南导游辱骂威胁游客案一审宣判 导游获刑6个月 2018-09-24
  • 说你好,就是好,不好也得好。 2018-09-24
  • 沈梦辰生日发惊艳大片为自己庆生 杜海涛称其“小乖乖”送生日祝福 2018-09-24
  • 爬窗户干瞪眼  云南文山一小区惊现倭蜂猴 2018-09-08
  • 【城市案例】杭州市制定《杭州市污染物排放许可、管理条例》规范环境保护 2018-08-31
  • 王石田朴珺罕见亲密写真曝光 女方喂男方冰淇淋娇羞甜蜜 2018-08-31
  • 82| 28| 487| 194| 309| 881| 606| 700| 71| 426|