TOP

获取豆瓣电影数据(R与API获取网页数据)
2019-09-04 01:00:11 】 浏览:65
Tags:获取 电影 数据 API 网页

一般成熟的网站都会有反爬虫策略,例如限制访问次数,限制访问 IP,动态显示数据等。爬虫和反爬虫就是一直相爱相杀地互相钳制。如果要通过爬虫来获取某些大型网站的数据,那是一件很费时费力的活。小白总遭遇过在趟过各种坑之前就被封 IP 或封账号的打击(呜呜~说的就是我)。

不过有一些公司心怀开放互联的态度,友好地给大家提供了 api 接口。这一篇博客将以豆瓣电影为例记录如何站在巨人(api)的肩膀上获取数据。不过豆瓣 api 现在貌似也逐渐收起来了,api key 也停止申请了,且用且珍惜了。

>> Required Packages


library(httr)
library(jsonlite)


>> Get JSON


豆瓣电影的 url 还是很规律,比如说 id 为 27074316 的电影的 url 就是 https://movie.douban.com/subject/27074316 , 但是 id 的排序并不是规律的。例如一部 2000 年上映的电影的 id 可能会大于 2010 年上映的电影的 id。

豆瓣电影的 id 范围大约为 1300000 到 27200000,但其中可能会有一部分无效的 id。如果需要获取所有豆瓣电影的数据,那么就要遍历所有 id。如果只是需要一部分的数据,就要用到 search key。

比如 id 为 27074316 的电影的 api resource url 是
https://api.douban.com/v2/movie/subject/27074316?apikey={your_api_key}

比如搜索 2018年电影的 api resource url 是
https://api.douban.com//v2/movie/search?q=2018?apikey={your_api_key}

在浏览器中输入上述 url (记得替换为你的 api key) 是可以看见返回的 json 的,而在 R 中要获取 json 就要用到 package httr 中的 GET 函数。如果返回 200 则表示请求成功。

url <- https://api.douban.com/v2/movie/subject/27074316
film_json <- GET(url, query = list(apikey="your_api_key"))
if(status_code(film_json) == 200)
    message("success\n")


>> Get Text


获取 json 后要读取里面需要的内容,例如获取电影名称,电影导演等:

film_data <- fromJSON(content(film_json, "text"))
title <- film_data$title
director <- film_data$directors$name %>% paste(collapse=",")

json 在浏览器中的文字都是挤成一团的很不好辨认 key-value pairs。在 R console 中执行下面的代码就可以清晰看到各组合了:

toJSON(fromJSON(content(film_json, "text")), pretty=TRUE)


>> Loop over IDs


上面有提到说如果要获取全部数据那么我们就要尝试遍历所有 id。目前豆瓣对于 api 的访问频率是有限制的,我了解到的是每分钟不超过 40 次。所以在两次访问之间要设置合理的时间差。

而且并不是每个 id 都一定有对应的页面,因此在遍历的过程中还要剔除无效 id。这时候就可以用上 tryCatch 法器了。

basic_url <- "https://api.douban.com/v2/movie/subject/"
film <- data.frame()
for (ii in 1:100){ #just for example not real id
  Sys.sleep(runif(1,1,2)) # set time interval
  tryCatch(
    {
      url <- paste0(basic_url, ii)
      film_json <- GET(url, query = list(apikey="your_api_key"))
      if(status_code(film_json) != 200)
        next
      film <- rbind(film, getFilmInfo(film_json,ii)) #user-defined function
    },
    error = function(cond) {
      message("Here's the original error message:")
      message(cond)
      message("\n")
    }
  )
}



以上只是抛砖引玉,而除了豆瓣以外还有很多可用的 api (可以上 Github 查一查),多加利用哦,数据就是生产力 !


获取豆瓣电影数据(R与API获取网页数据) https://www.cppentry.com/bencandy.php?fid=91&id=250037

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇R实战 第11篇:处理缺失值 下一篇【翻译】R 中的设计模式

kafka-
kafka   Partit
解决android studio
Kafka史上最详细原理
Error while fetchin
【Kafka】安装与快速
    &
flume读取日志数据写
Authentication plug
Flume 自定义source
flume   三大核
ICC副本>>>
愚公移山  
Hbase架构   Hb
5 hbase-shell + &
Hbase   MapRed
MetaException(messa
Exception in thread
HIVE metastore Dupl
-->