c#网页视频文件通用抓取(包括直播流等)

转载 哆啦A梦 2020/3/25 16:01:42

几天前一个同学说想下载一个网站的视频找不到连接,问我有没有什么办法。当时一听觉得应该简单,于是说我抽空看看。然后就分析目标网页,试图从网页源码里找出连接,未果。F12调出开发者工具,进NetWrok看到网页是通过ajax发起xhr请求拿的视频连接,怪不得页面元素里没有下载地址,请求的是m3u8格式文件,查了一下这是一种分片的流媒体文件,然后到处找下载这种格式文件的工具,都不是很理想。很多都是直接下了分片后的ts文件,但是这个网站的是加了密的,不能直接播放,最后找到ffmpeg这个视频插件神器,视频转码、剪切、合并、播放都不在话下,还支持多平台。
ffmpeg FFmpeg介绍和入门
ffmpeg开 FFmpeg官方网站
有了神器何不自己写个工具来下载呢,准备动手时首先就被连接怎么获取这个问题给拦住了,原本只是想写个小爬虫,爬取网页连接就行了。结果行不通,ajax动态发起的请求,数据不在网页元素里,对js也不熟悉不知道怎么获取这种数据,难不成让同学自己手动开浏览器F12然后去找连接?这不是我的风格:) 然后继续各种搜索,得出个结果自己实现浏览器,拦截网页所有请求肯定就拿到了。筛选后得到三种方案:

1.WebBrowser.
2.GeokoFx.
3.CefSharp.

首先试了WebBrowser,目标网站直接打不开网页,让换谷歌浏览器,修改了UserAgent可以打开,但是网页显示不全,放弃。然后换GeokoFx直接能打开,速度也不错,但是有些连接点击了没反应,也只能放弃。最后用CefSharp测试达到了预期目标,就是flash和H264视频打不开,折腾了一天,官方说是版权问题不支持,需自行修改。找了个修改过的库可以了,找到的支持flash和H264视频的库: https://pan.baidu.com/s/14sYhaltGJe8Fe9ALgHGESQ
提取码:dfdr
是nupkg的安装包,查看nupkg安装方法
然后就是写代码了:
视频地址获取只要继承集成默认的抽象类 DefaultRequestHandler就可以了.

public class MyRequestHandler : DefaultRequestHandler
 {
 public override CefReturnValue OnBeforeResourceLoad(IWebBrowser browserControl, IBrowser browser, IFrame frame, IRequest request, IRequestCallback callback)
  {
       //拿到url后再判断下是不是视频文件
       string url = request.Url;
   }
}

然后在初始化浏览器时指定下就行了。

chromeBrowser.RequestHandler = new MyRequestHandler(callback);

这里我是把url中的文件名提取出来,然后判断扩展名来判断是不是视频文件,不知道有没有更通用的方法。判断ResourceType == ResourceType.Media是不行的,很多时候这个值返回的是xhr。

FFmpeg部分就是直接命令行调用下,有时间再研究下这个神器的lib方式。

以下是折腾了几天出来的结果。
1.png
浏览器界面,打开网页后如果拦截到视频地址就会在右上角GO后面显示[X] x表示当前页面拦截到的视频文件数量。
点击数字或左上角的下载tab页,来到如下界面。
2.png
3.png
4.png
5.png
可以在这里进行下载,播放等操作,界面丑了点,功能算是达到了。
下载支持断点续传,但是m3u8分片文件没有保存断点,所以关了软件后不能断点续传,要重新开始。直播流不能预知大小,所以不显示下进度,但是适时更新下载的数据大小。
一般情况下ts文件不用去下载,直接下m3u8就可以了,程序会自动分析ts分片文件全部下载完后自动合成一个mp4文件。
软件下载:链接:https://pan.baidu.com/s/1R9jQ-ALYRqEGyX4RnfRu-w
提取码:n6q4
如果运行不了,请下载并安装NET Framework  4.6.1

随时随地学软件编程-关注百度小程序和微信小程序
关于找一找教程网

本站文章仅代表作者观点,不代表本站立场,所有文章非营利性免费分享。
本站提供了软件编程、网站开发技术、服务器运维、人工智能等等IT技术文章,希望广大程序员努力学习,让我们用科技改变世界。
[c#网页视频文件通用抓取(包括直播流等)]http://www.zyiz.net/tech/detail-121449.html

上一篇:AspNetCore3.1_Secutiry源码解析_5_Authentication_OAuth

下一篇:VS2019正式版和专业版注册码秘钥,亲测可用

赞(0)

共有 条评论 网友评论

验证码: 看不清楚?
    扫一扫关注最新编程教程