重庆时时彩走势:第一只python爬虫

分分彩技巧 www.kqa8.cn   经过了好久终于又开始续学Python,每天工作压力很大就算有时间感觉也没有多余精力学习。
这两天在网易云课堂买了一份Excel Power Pivot的教程给竞价岗位学,顺便看见了Python爬虫的教程就看了看,感觉之前的书是没有白看的。
学程序实操视频带来的教学比较适合我,除了能学到实际的教程外,可以看到高手们的编程思路,输写过程,很舒服。

  这个是针对新浪的页面写的,原来BeautifulSoup能识别css和html标签,和之前玩的火车头及织梦采集相比,高明太多,怪不得是神器。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import requests
from bs4 import BeautifulSoup
 
def getNewsDetail(newsurl):
    result = {}
    res = requests.get(newsurl)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    result['title'] = soup.select('#artibodyTitle')[0].text
    result['newssource'] = soup.select('.time-source span a')[0].text
    timesource = soup.select('.time-source')[0].contents[0].strip()
    result['dt'] = datetime.strptime(timesource, '%Y年%m月%d日%H:%M')
    result['article'] = ' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
    result['editor'] = soup.select('.article-editor')[0].text.strip('责任编辑:')
    result['comments'] = getCommentCounts(newsurl)
    return result

雾中有雾 釉里有釉

发表评论

电子邮件地址不会被公开。 必填项已用*标注

返回主页看更多 分分彩技巧
  • 全国高考开展网上评卷 多重保障确保打分公平 2019-04-17
  • 一只浣熊都这么努力,你还有什么理由不上进! 2019-04-17
  • “扫黄打非”办约谈网易、百度、B站等多家网站负责人 2019-04-14
  • 2017年度妇联改革任务全部完成 2019-04-12
  • 省政协主席张昌尔到安徽铜冠铜箔公司调研 2019-04-12
  • 全国政协十三届一次会议提案交办会在京举行 张庆黎讲话 2019-04-11
  • 多部门三令五申禁网售彩票,世界杯竞猜APP上仍热卖 2019-04-08
  • “数码农场”的水稻有何特殊?基因信息可变数据库 2019-04-02
  • 青海边麻沟村村支书李培东:让每个村民都能过上幸福的生活 2019-04-02
  • 第二届加强创新和社会管理案例理论论坛暨社会管理创新案例颁奖典礼 2019-03-31
  • 12天!小米CDR发行申请火速上会 刷新富士康光速IPO 2019-03-31
  • 环球 —频道 春城壹网 七彩云南 一网天下 2019-03-24
  • 贵州茅台:“酒旅融合”创新工业旅游新模式 2019-03-24
  • 第十三届全国人民代表大会常务委员会委员长简历 2019-03-23
  • 世界各国因为势不如人,所以才会对美国的进逼忍气吞声。美国现在说话意味已不在有什么掩盖,明显的霸权主义威胁意味甚浓!特朗普的冒险性格,让世界处于危险之中!... 2019-03-20
  • 623| 423| 585| 112| 471| 213| 529| 643| 514| 447|