整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:

(Python基础教程之二十二)爬虫下载网页视频(video blob)

在视频链接一般为m3u8,找到m3u8地址就可以下载了

  1. 打开Chrome Developer工具,然后点击“网络”标签。
  2. 导航到包含视频的页面,然后开始播放。
  3. 将文件列表过滤为“ m3u8”。
  4. 找到master.m3u8或index.m3u8并单击它。
  5. 将文件保存到磁盘并在其中查看。
  6. 如果文件包含一个m3u8主URL,则复制该URL。
  7. 使用ffmpeg 工具下载m3u8视频ffmpeg -i "https://secure.brightcove.com/services/mobile/streaming/index/rendition.m3u8?assetId=6138283938001&secure=true&videoId=6138277786001" -bsf:a aac_adtstoasc -vcodec copy -c copy -crf 50 6138277786001.mp4Python下载代码#!/usr/bin/env python3 import requests,urllib from bs4 import BeautifulSoup import os import subprocess

pwd = os.path.split(os.path.realpath(file))[0]

url = "https://www.topgear.com/videos"

headers = { 'upgrade-insecure-requests': "1", 'user-agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36", 'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8", 'accept-encoding': "gzip, deflate, br", 'accept-language': "zh-CN,zh;q=0.9,en;q=0.8", 'cookie': "has_js=1; minVersion={"experiment":1570672462,"minFlavor":"new_vermi-1.13.7.11.js100"}; minUniq=%7B%22minUID%22%3A%22bb80328a30-e8cdeb4d55-9a314411d2-aff4bb11a6-4aa23e3779%22%7D; minDaily=%7B%22testMode%22%3Atrue%2C%22dailyUser%22%3Atrue%7D; __gads=ID=b6eee23a8df86f72:T=1588041695:S=ALNI_MYCQR1Bf2fq53bqISIZBy8kIgI9oA; minBuffer=%7B%22minAnalytics%22%3A%22%7B%5C%22clicks%5C%22%3A%5B%5D%2C%5C%22clicksDelay%5C%22%3A%5B%5D%7D%22%2C%22_minEE1%22%3A%22%5B%5D%22%7D; minSession=%7B%22minSID%22%3A%227f32fd50ab-88cc4cf6f3-68d284cdee-1faeb65c08-c5966d76ac%22%2C%22minSessionSent%22%3Atrue%2C%22hadImp%22%3Atrue%2C%22sessionUniqs%22%3A%22%7Btime%3A1588053248571%2Clist%3A%5B11206251nt0%5D%7D%22%7D; OptanonConsent=landingPath=NotLandingPage&datestamp=Tue+Apr+28+2020+13%3A55%3A33+GMT%2B0800+(%E4%B8%AD%E5%9B%BD%E6%A0%87%E5%87%86%E6%97%B6%E9%97%B4)&version=3.6.24&AwaitingReconsent=false&groups=1%3A1%2C101%3A0%2C2%3A0%2C0_132429%3A0%2C3%3A0%2C4%3A0%2C0_132431%3A0%2C104%3A0%2C106%3A0%2C111%3A0%2C114%3A0%2C120%3A0%2C124%3A0%2C126%3A0%2C130%3A0%2C133%3A0%2C134%3A0%2C144%3A0%2C145%3A0%2C146%3A0%2C147%3A0%2C150%3A0%2C151%3A0%2C157%3A0%2C162%3A0%2C173%3A0%2C0_126679%3A0%2C0_137695%3A0%2C0_132361%3A0%2C0_132391%3A0; GED_PLAYLIST_ACTIVITY=W3sidSI6Ijh5clQiLCJ0c2wiOjE1ODgwNTMzNDksIm52IjowLCJ1cHQiOjE1ODgwNTMzMzMsImx0IjoxNTg4MDUzMzM3fV0.", 'cache-control': "no-cache"}

if name == 'main': response = requests.request("GET", url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') videoId = soup.find_all('video', class_="video-js")[0]['data-video-id'] ##获取视频Id title = soup.find_all('h1', class_="video-player__title")[0].contents[0] ##获取视频标题 url = "https://secure.brightcove.com/services/mobile/streaming/index/master.m3u8?videoId={}&secure=true".format(videoId) ##生成视频下载Url filename = '{}.mp4'.format(title).replace(" ","-") cmd_str = 'ffmpeg -i "' + url + '" ' + '-acodec copy -vcodec copy -absf aac_adtstoasc ' + pwd + "/" +filename ##下载视频 print(cmd_str) subprocess.call(cmd_str,shell=True)

```

  1. Python基础教程
  2. 在SublimeEditor中配置Python环境
  3. Python代码中添加注释
  4. Python中的变量的使用
  5. Python中的数据类型
  6. Python中的关键字
  7. Python字符串操作
  8. Python中的list操作
  9. Python中的Tuple操作
  10. Pythonmax()和min()–在列表或数组中查找最大值和最小值
  11. Python找到最大的N个(前N个)或最小的N个项目
  12. Python读写CSV文件
  13. Python中使用httplib2–HTTPGET和POST示例
  14. Python将tuple开箱为变量或参数
  15. Python开箱Tuple–太多值无法解压
  16. Pythonmultidict示例–将单个键映射到字典中的多个值
  17. PythonOrderedDict–有序字典
  18. Python字典交集–比较两个字典
  19. Python优先级队列示例
  20. python中如何格式化日期
  21. 30 分钟 Python 爬虫教程
  22. 爬虫下载网页视频(video blob)

作者:分布式编程 出处:https://zthinker.com/

如果你喜欢本文,请长按二维码,关注 分布式编程 .


小伙伴们大家好!我是阿意O(∩_∩)O最近有很多小伙伴私信问我应该如何从youtube上下载视频。方法其实有很多种,今天阿意就和大家分享我最常用的三种方法,无论你是电脑小白还是学过编程,总有一款方法适合你!

1、无脑加后缀(1s)

①打开浏览器,找到你喜欢的视频。

②在网址链接youtube的后面加上1s

③回车。你将看到这样的界面:

④选择你想要的清晰度,最好选择720P,足够你用了。点击第一行那个蓝色的720P(0B)按钮,就开始下载啦!

⑤下载视频的格式是mp4,会保存在你的下载文件夹当中。95%的视频用这种方法都是有效的!

2、利用下载软件

用上一种方法个别视频下载不了怎么办呢?下面我们来说第二种方法,利用下载软件来下载。比方说你可以下载这个软件:Gihosoft TubeGet

官网链接是:http://www.jihosoft.cn/tubeget/

打开官网,下载安装之后就可以使用了。

把你想要下载的视频链接复制过来,选择你想要的清晰度,就可以下载了,而且一次可以下载整个列表。

但是一天最多只能下载5个视频,你想解除限制就得交198元购买会员。我们都有白嫖的习惯,当时我下意识的就去打开百度寻找破解版。我试过了,的确有破解版,但这软件的版本时长更新,所以有破解版也无法长期正常使用。其他下载软件都有类似共同的特点,总是要收费的。所以这个软件适合下载频率不大的小伙伴们!

但聪明的阿意分析了一下,这个软件肯定也是基于某种语句的,你要是知道了这个语句肯定也能下载,后来阿意就找到了这样一个办法:

3、youtube-dl windows 下载方法

A. 安装phython

1. 访问Python官网下载最新版本的Python(https://www.python.org/)

2. 安装Python 最新版本(一般数字最大的就是最新版本)

安装的时候,注意勾选“add python 3.xxx to PATH

3. 同时按win+R ,打开运行,输入“cmd”,按“enter”,之后输入“phython”有以下信息,则说明phython安装成功。

A. 安装youtube-dl

从官方网站( https://ytdl-org.github.io/youtube-dl/index.html)下载youtube-dl.exe(https://yt-dl.org/downloads/2021.01.16/youtube-dl)然后放在电脑任意目录下都可以使用。(就是保存在任意地方,任何一个盘都可以)

如果有一天下载不了,就用语句更新一下youtube-dl

更新的语句:youtube-dl -U

这是官方指导文件,各个平台都可以用,windows、linux、MacOS

(https://github.com/ytdl-org/youtube-dl/blob/master/README.md#installation)

安装好之后,在cmd输入youtube-dl,出现如下提示,则表明youtube-dl已经安装好啦

C 安装ffmpeg

ffmpeg 是个神奇的工具,能够对视频、音频进行分段、重新编码、封装,有多种功能,与youtube-dl配合使用,建议安装,不必须。

1. 进入ffmpeg官方网站(https://ffmpeg.org/download.html)

2. 根据自己电脑是32位还是64位,选择对应的进行下载。看自己电脑是32位或64位方法(win10中,点击“开始”中的齿轮(也就是“设置”),接着点击“系统”,点击左下角“关于”,在右侧“系统类型”就可以看到自己的电脑是32位还是64位啦!)


3. 下载之后,解压 压缩包,会看到很多文件


4. 将整个文件夹改个名字,改成“ffmpeg”

5. 将“ffmpeg”文件夹移动到C盘,直接点击C盘,并将“ffmpeg”文件夹移动过来


6、接着,打开系统属性 > 高级系统设置 > 环境变量

在环境变量>系统变量 里找到Path,点击编辑>新建,然后把刚才那个文件夹里的bin路径(C:\ffmpeg\bin)复制到这里

7、按wim+R,输入cmd,按“enter”,输入ffmpeg -version

8. ffmpeg安装成功,恭喜恭喜!


现在我们可以开始用youtube-dl 进行视频下载啦~

1. 查看视频类型,只是查看,不下载

youtube-dl -F [url]

或者

youtube-dl --list-formats [url]

说明:[url]就是你要下载视频的网站链接,直接复制过来就可以啦~

小伙伴们就可以看到你想下载的视频有什么格式,可以进行有选择的下载啦

2. 下载指定质量的视频和音频,并自动合并

youtube-dl -f [format code] [url]

通过第一步,我们获得了视频所有的格式,最左边一列就是编号对应着不同的格式,如果我们安装了ffmpeg的话,youtube-dl会自动合并下好的视频和音频,并自动删除单独的音频和视频文件


3 下载字幕

youtube-dl –write-sub [url]

这样会下载一个vtt格式英文字母和mkv格式1080p视频下来



4. 下载视频列表

youtube-dl -f [format code][playlist_url]

这种方法可以下载指定清晰度的视频


5. 输出文件的名字(有时对批量下载的人来说十分重要)

可以用 -o:

youtube-dl [url] -o “输出文件的名字”

(注意:是字母o,不是数字0)

6、请大家伙儿开始愉快的youtube-dl生活吧~


以上就是阿意总结的下载youtube视频的三种方法,第一种比较实用,第二种是氪金,第三种比较具有挑战性。作为非计算机专业人士,也只能帮大家到这了。可以收藏起来备用哦!如果你有更好的办法,也可以在评论区留言~

们正常在浏览Twitter APP视频的时候,如果想保存某个视频,会发现APP上是保存不下来的(网页端可以直接拿到视频播放地址),当然也可以通过复制链接,在浏览器上打开使用,现在介绍下其他5种下载推特视频的工具,快速下载。

Twitter视频下载网站

通过在线Twitter视频下载网站进行视频解析,跟视频去水印道理是一样的。

大概下载步骤:

打开Twitter App或web端,复制推文地址

打开推特解析网站,比如:下方列出的TwitterFK

粘贴推文地址,点击下载按钮,如可以选择清晰度或视频格式,可进行其他选项选择

注意:步骤3这里通常会有两个选择。你可以直接点击 “下载” 按钮,默认情况下,视频将保存至名为 “下载” 的浏览器文件夹中;如果你使用的是桌面设备,也可以右键点击 “下载” 按钮,然后点击 “另存为” 选择你想要的地址,最后点击 “保存”。

TwitterFK

在线地址: https://www.twitterfk.com/zh-CN/twitter-video-download

TwitterFK是一个专门的在线 Twitter 视频下载网站,没有下载数量限制,唯一的限制是点击下载按钮之间的等待时间。一个视频下载完成之后,请求另一个链接会有十秒钟的延迟,以减少服务器负载并确保最佳下载速度。除了复制推特视频链接到网站,你也可以直接在Twitter链接中添加 “fk” 已直接跳转到该网站。

除了下载推特视频,该网站还提供下载TikTok视频以及很多其他视频网站的视频的下载工具,包括 YouTube,Facebook,Instagram和Reddit,都是免费的在线下载网站,不用注册,不用下载多余应用到电脑、平板或手机。

YouTube 4K Downloader

在线地址: https://youtube4kdownloader.com/zh10/download-twitter-video.html

YouTube 4K Downloader是一个完全免费的在线下载器,随时随地下载视频,无需安装额外软件。除了支持Twitter视频下载以外,也支持下载 YouTube、脸书、IG、Vimeo、TikTok、Twitch等网站视频。网站说没有下载数量限制,支持多个视频一次性下载,但是笔者没有成功,只能一次性下载一个视频。

支持多种格式下载,如MP4, MP3, WebM 等,可选择清晰度,如SD, HD, FHD, Ultra HD, 1080P, 2K, 4K和8K,兼容所有常见浏览器,包括Google Chrome, Edge, Firefox和Opera。

TwitterVideoDownloader

在线地址: https://twittervideodownloader.com/

TwitterVideoDownloader是一个专门的 Twitter 视频下载网站,支持下载推特视频(MP4)和GIF到电脑、平板和手机,兼容常见浏览器,免注册账号,不用下载App到你的手机、平板或电脑,在线下载即可,还提供不同的清晰度可供选择,如1280P,720P,480P等。

Getfvid

在线地址: https://www.getfvid.com/zh/twitter

Getfvid是一个专门用于下载推特视频工具,支持Twitter视频以及GIF下载,电脑、平板和手机端皆适用,兼容所有常见浏览器,如Google Chrome 和 Firefox。使用简单,复制粘贴推特视频地址到下载框,然后点击 “下载” 按钮就可以了,提供清晰度选择,如1280P,480P等。

SaveTweetVid

在线地址: https://www.savetweetvid.com/zh

SaveTweetVid是一个免费的 Twitter 视频下载工具,支持从Twitter保存视频以及GIF,无需注册,不用下载软件,可以直接从浏览器下载自己喜欢的推特视频,电脑,平板和手机设备均适用。主要支持推特 MP4视频下载,可以自行选择清晰度,如720P,360P等。

GetMyTweet

在线地址: https://www.getmytweet.com/zh/

GetMyTweet是一个免费的在线 Twitter 视频下载网站,无需安装软件,支持MP4和MP3下载,视频将保存至浏览器的下载文件夹中。支持所有常见浏览器,如Google Chrome和Firefox。无论你使用的是Windows、Mac、Android还是iOS设备,只需在浏览器打开该在线推特视频下载网站,输入推文地址,就可以开始下载视频。


推特视频下载插件

一些谷歌插件也可以用来下载Twitter视频,经过我们的测试,我们暂时只发现Twitter Video Downloader能用,推荐给大家。

Twitter Video Downloader

下载: https://chrome.google.com/webstore/detail/twitter-video-downloader/nbkknbagklenkcienihfapbfpjemnfoi

Twitter Video Downloader是一个专门用来下载推特视频的插件,免费,使用方便,只需安装到谷歌浏览器中,打开 Twitter 网页版,你会发现视频的右下角多出来一个绿色下载按钮,点击即可跳转至其下载页面,这里你可以自行选择视频清晰度,然后下载。值得注意的是,该插件所属网站( ssstwitter.com )也支持 Twitter 影片下载,通过其网站下载视频,无需下载插件。

以下是详细使用步骤:

步骤1. 在Chrome Web Store里搜索 “Twitter video download”,会有很多结果,选择一个 “Add to Chrome”。

步骤2. 打开 Twitter网页版 ,你会发现视频右下角多出来一个绿色的 “Download” 按钮,点击即可跳转到下载页面,选择清晰度并下载。


Twitter视频下载机器人

也可以试试推特视频下载机器人,在视频推文下面回复 “@+任何跟 video/download 相关的关键字”,机器人账号会自动跳出来。但是机器人可能会反应不及时,经过测试,笔者推荐Video Downloader Bot @DownloaderBot。

Video Downloader Bot

笔者@了四个机器人,分别是 @DownloaderBot,@thisvid_bot,@plus_download 和 @GetVidoBot,收到了来自 @DownloaderBot 的回复。该机器人不提供清晰度选择,会直接下载最清晰的视频版本。桌面和移动设备都适用,使用起来比较方便。

具体使用步骤如下:

步骤1. 在想下载的视频推文下回复并@机器人。

步骤2. 等待机器人提供下载地址,点击视频,选择 “Download” ,即可开始下载。


推特视频下载APP

谷歌商店和苹果应用商店里有不少Twitter视频下载App,适用于iOS和安卓设备,使用步骤都大同小异,这里以推荐14这个应用为例简单说明:

步骤1. 在Google Play Store/App Store搜索 “Twitter video download” 会出现很多结果,下载一个安装到手机或平板。

步骤2. 打开Twitter App,看到感兴趣的 Twitter 视频,选择 “分享” ,然后选择 “复制链接” 。

步骤3. 打开Twitter视频下载App,你会发现刚才复制的视频推文链接已经自动粘贴到下载栏,点击下载按钮,即可选择清晰度,然后开始下载。

Clipbox for iOS

Clipbox目前只适用于iOS设备,支持从 Twitter 下载视频,此外,还支持下载TikTok, YouTube,Instagram和Facebook视频,兼具视频剪辑、分享功能于一体。除了通过复制粘贴视频链接到App内下载这个方式,你也可以直接将视频推文分享到Clipbox,即完成下载。有免费和付费两个版本,如果只是下载推特视频的话,免费版本就够了。

Twitterrific for iOS

一个适用于iPhone和iPad的Twitter视频下载应用。这个App有点像一个Twitter替代,在App内,你可以访问Twitter,并且保存推特视频,而无需借助第三方下载网站、插件、键盘快捷键等。有免费和付费两个版本,免费版有广告,升级到付费版本可以屏蔽广告。

Twitter Video Downloader for Android

仅2.9MB,占内存少。适用于安卓手机和平板,支持下载推特视频和GIF,可选择清晰度。提供两种下载方法,你可以从Twitter复制视频链接,再粘贴到应用下载;也可以直接从Twitter “share” 视频至应用,然后下载。另外,这个App所属网站也提供在线下载服务,在上面的方法一笔者也提到过。

Download Twitter Videos for Android

免费,占内存少,7.7MB,支持下载Twitter视频和GIF,有清晰度选择,提供两种下载方案,一是从Twitter复制视频链接,再粘贴到应用下载;二是直接从Twitter “share” 视频至应用,然后下载。