玩分分彩的经历:第一只python爬虫

分分彩技巧 www.kqa8.cn   经过了好久终于又开始续学Python,每天工作压力很大就算有时间感觉也没有多余精力学习。
这两天在网易云课堂买了一份Excel Power Pivot的教程给竞价岗位学,顺便看见了Python爬虫的教程就看了看,感觉之前的书是没有白看的。
学程序实操视频带来的教学比较适合我,除了能学到实际的教程外,可以看到高手们的编程思路,输写过程,很舒服。

  这个是针对新浪的页面写的,原来BeautifulSoup能识别css和html标签,和之前玩的火车头及织梦采集相比,高明太多,怪不得是神器。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import requests
from bs4 import BeautifulSoup
 
def getNewsDetail(newsurl):
    result = {}
    res = requests.get(newsurl)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    result['title'] = soup.select('#artibodyTitle')[0].text
    result['newssource'] = soup.select('.time-source span a')[0].text
    timesource = soup.select('.time-source')[0].contents[0].strip()
    result['dt'] = datetime.strptime(timesource, '%Y年%m月%d日%H:%M')
    result['article'] = ' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
    result['editor'] = soup.select('.article-editor')[0].text.strip('责任编辑:')
    result['comments'] = getCommentCounts(newsurl)
    return result

雾中有雾 釉里有釉

发表评论

电子邮件地址不会被公开。 必填项已用*标注

返回主页看更多 分分彩技巧
  • 第529期:辅助降压、缓解便秘……薯类食物好处多多,怎样吃更健康? 2019-02-18
  • “一带一路”战略下清真产业国际化发展与投资论坛 2019-02-06
  • 这些在INS上流行的美甲能帮你降温5度! 2019-02-06
  • 金正恩乘机赴新加坡半路突改航班号、目的地?答案来了! 2019-01-28
  • 合肥一专车司机脑溢血晕倒前踩刹车 两乘客实施救援 2019-01-28
  • 2018高考各地查分时间公布,这些信息要知道! 2019-01-28
  • 浙江省网络文明公益宣传创意作品展示 2019-01-18
  • 【両会】第13期全人代専門委員会のメンバー 憲法に宣誓 2019-01-18
  • 网友诉公交车“冒黑烟”上路 当地:立刻检测维修 2019-01-12
  • 大运河文化带非遗大展已接待5.6万人次观众 2019-01-09
  • 激情世界杯 决战俄罗斯 2018-12-28
  • 失窃案牵出地下药品交易链 2018-11-24
  • 太原网友:谁来管管逢雨必淹的山大附小周边 2018-11-15
  • [福]什么是“幸福”?这两个字所表示的直接含义就是:“幸”是指机会,“福”就是指拜求神赐田地生长粮棉等生物而足食丰衣。 2018-11-15
  • 中国人性格比较隐忍,当积怨越来越深,隐忍到一定程度就会像炸弹一样爆发控制不了,为时过晚了 2018-11-10
  • 849| 434| 89| 120| 762| 952| 693| 460| 606| 474|