整体的目标
- [ ] 完成将多张图片转换成视频。并添加背景音乐的任务。
- [ ] 完成将音频混音到视频中的任务。
- [ ] 完成将找到的视频合并的任务。
目前计划确定
- [ x ] 1. 寻找Android端可以解决的方案
- [ x ] 2. 了解方案和实现
- [ x ] 3. 完成任务
具体内容
FFmpeg的了解
FFmpeg的介绍网上还是很多的。官网的wiki上面也有很多内容。围绕目标，主要是有两套实现的思路。早期，其实是想通过自己编写C代码，来完成整个流程的。但是无奈目前的水平有限，而且时间不够充裕。故最后的思路是通过学习现有的命令行参数，来快速完成FFmpeg的使用。但是这样的弊端也极大的，在此暂时不诉。
从官网上下载好ffmpeg，进入FFmpeg命令行工具所在的文件夹，就开始干活。
因为直接使用cmd 是没有历史记录的，所以书内推荐使用其他的客户端来操作，但是为了便捷，则是还是使用最简单的工具。
FFmpeg Basic的学习
- 参考FFmpeg Basic FFmpeg封装好的命令行整体是是这样的
Command line syntax
ffmepg [global options] [input file options] -i input_file [output file options] output_file [ ]中的内容是可选的参数，其他则是必填的参数。 - 使用ffmpeg进行转码
ffmpeg可以输入各种文件或者流，进行操作。整体的工作流程是解码器将未压缩的帧数据在经过filter之后，再进行编码和输出。其中很重要的一点就是它能够构造一个 filterchains 和 filtergraphs (滤镜链和滤镜图)。 - Filters,filter chains 和filtergraphs
在多媒体的进程中，filter意味着在输入文件进行编码之前将其修改的一个软件工具。他被分成音频的滤镜和视频的滤镜。FFmpeg已经内置好了多种滤镜而且能够通过多种方式结合他们使用。这样简化了媒体的进程，因为在编解码的过程中。会整体的质量。 libavfilter就是整个软件库。使用-vf 来操作视频滤镜 使用 -af来使用音频的滤镜。Filter syntax
[input_link_label1]... filter_name=parameters [output_link_label1]...Filterchain
"filter1,filter2,...."Filtergraph
"filterchain1;filterchain2;..."使用filtergraph能够有效的简化命令行。将两行变成一行
#使用前 ffmpeg -i input.mpg -vf hqdn3d,pad=2*iw outpt.mp4 ffmpeg -i output.mp4 -i input.mpg -filter_complex overlay=w compare.mp4 #使用后 ffplay -i i.mpg -vf split[a][b];[a]pad=2*iw[A];[b]hqdn3d[B];[A][B]overlay=w # 将输入的i.mpg 分成[a]和[b] ;将[a]左右一个filterchains的输入，输出为[A];将[b]作为输入，输出为[B],最后再将[A][B] 通过overLay filter产生一个对比。 -
媒体流的选择。
-
许多封装格式存在多个流媒体。ffmpeg能够识别5种流。 audio(a),attachment(t),data(d),subtitle(s) and video(v)。可以通过-map后面添加这些参数来完成选择。
syntax
file_number:stream_type [:stream_number] #其中file_number、stream_number都是从0开始。 #-map 0 表示选择所有 #-map i:v表示从角标为i的文件中选择所有的视频流。 -map: i:a 则是所有的音频流 # -an,-vn,-sn 简单的理解就是 剔除音频。视频。和字母(... no ..) #将A中的视频和B中的音频和C中的字幕合并到clip.mov中 ffmpeg -i A.mov -i B.mov -i C.mov -map 0:v:0 -map 1:a:0 -map 2:s:0 clip.mov - 除此之外，还有其他的可以定义流的信息
#-b 可以设置音频和视频的bit rate ffmpeg -i input.mpg -b:a 128k -b:v 1500k outpu.mp4
-
- 有用的命令。
将输出输出到文件当中。ffmpeg -help > help.txt ffmpeg -filters >> data.txt #续写 - 概念的介绍
比特率、帧率和文件大小之间的关系帧率。
每秒被编码到视频文件中的帧数。人眼至少需要15fps，才能举得是一个连续的滑动。它也进程被较为一个帧的频繁度 。它的单位是Hz.LCD显示器通常是60Hz的。# 直接使用- r 能够制定帧率 ffmepg -i input -r fps output #使用fpsfilter来指定帧率 ffmpeg -i clip.mpg -vf fps=fps=25 clip.webm比特率
确定的是音频和视频总体的质量。它定义的是 每个时间单元携带的数据量。
| Type | Abbreviation | |
|---|---|---|
| Average bit rate | ABR | 每秒平均的比特率。在VBR编码模式下也需要。通常用于确定的输出大小 |
| Constant bit rate | CBR | 每秒处理的比特率是相同的。这并不实际。因为在运动的处理过程中，需要更多的比特率。CBR通常用于在混合多媒体流的时候使用。 |
| Variable bit rate | VBR | 可变的比特率。简言之就是需要多的时候多，反之亦然。但是同样需要更多的cpu来处理这些判断 |
之前说过，通过-b就可以设定比特率。-b:v 就 可以设定视频
# 在视频通话中，因为传输的数据不能被缓存。所有需要设定
#一个固定的比特率来输出。通常需要设定三个参数。 -b -minrate -maxrate .设置maxrate的同时，还得设置一个 -bufsize来缓存。
ffmpeg -i in.avi -b 0.5M -minirate 0.5M -maxrate 0.5M -bufsize 1M out.mkv
#为了控制文件的大小，可以使用 -fs
ffmpeg -i -input.avi -fs 10MB output.mp4文件大小的计算公式
- 视频大小
video_size =vieo_birate * time_inseconds/8 - 音频大小
（未压缩）audio_size=sampling_ratebit_depthchannels*time_in_seconds/8 （压缩）audio_size = bitrate* time_in_seconds/8
未完待续。。。
