好久没有更新网站了,应该快一年了 orz,这一年,我完成了从一名学生到大厂工程师的转变。
在这期间,陆陆续续的完成了一些爬虫项目,介绍如下,代码获取方式见文末。
微博爬虫
一个完整爬取 搜索关键词的微博、用户微博以及评论的爬虫,已经开源在 github 上,地址如下:
微信公众号爬虫
1、可以爬取 指定公众号所有文章的标题、内容、点赞数、好看数
2、可以爬取 指定公众号所有视频并下载到本地
知乎爬虫
1、可以爬取 指定用户或者机构的所有想法、文章、回答、视频的标题点赞数和评论数
2、可以爬取 指定问题下的所有回答,爬取指定回答下的所有评论
链家爬虫
可以爬取 指定城市的所有租房、成交房以及二手房数据,包含多达十个字段,没有任何敏感信息,仅做数据分析用
facebook 爬虫
可以 爬取指定用户的帖子
instagram 爬虫
1、可以爬取 指定用户的粉丝信息,关注信息
2、可以 下载指定用户的所有图片
youtube 爬虫
可以爬取 指定视频的所有评论
bilibili 爬虫
1、可以下载指定视频
2、可以爬取指定视频的所有评论和弹幕
如何获取源码
除了第一个微博爬虫,其余都没有开源,如有需要可通过关注公众号【月小水长】后台联系我。#微信公众号爬虫、#知乎爬虫、#链家爬虫、#facebook 爬虫、#微博爬虫