O significado da codificação de vídeo
Grande espaço de armazenamento para dados de vídeo originais, um vídeo 1080P 7 s requer 817 MB
A transmissão de dados de vídeo original ocupa uma grande largura de banda e leva 11 minutos para transmitir o vídeo de 7 s acima com uma largura de banda de 10 Mbps
Após a codificação e compactação H.264, o tamanho do vídeo é de apenas 708 ke a largura de banda de 10 Mbps precisa de apenas 500 ms, o que pode atender às necessidades de transmissão em tempo real. Portanto, o vídeo original coletado do sensor de aquisição de vídeo deve ser codificado em vídeo.
Fundamental
Então, por que um vídeo original enorme pode ser codificado em um vídeo muito pequeno? Qual é a tecnologia nisso? Antes de falar sobre tecnologia, devemos primeiro estabelecer o conceito de vídeo que são imagens contínuas.
A ideia central é remover informações redundantes:
Redundância espacial: existe uma forte correlação entre os pixels adjacentes de uma imagem
Redundância temporal: conteúdo semelhante entre imagens adjacentes em uma sequência de vídeo
Redundância de codificação: diferentes valores de pixel têm diferentes probabilidades
Redundância visual: o sistema visual humano não é sensível a certos detalhes
Redundância de conhecimento: a estrutura de regularidade pode ser obtida a partir de conhecimento prévio e conhecimento prévio
O vídeo é essencialmente uma série de imagens reproduzidas de forma contínua e rápida; portanto, a maneira mais fácil de compactar um vídeo é compactar cada quadro das imagens. Por exemplo, a codificação MJPEG mais antiga serve para compactar cada quadro de imagens no vídeo. Este método de codificação Existe apenas codificação intra-frame, que usa predição de amostra espacial para codificar. A metáfora da imagem é tratar cada quadro como uma imagem e usar o formato de codificação JPEG para compactar a imagem. Esse tipo de codificação considera apenas a compactação de informações redundantes em uma imagem.
No entanto, devido à correlação de tempo entre os quadros, alguns codificadores avançados foram desenvolvidos que podem usar a codificação entre quadros. Simplificando, certas áreas no quadro são selecionadas por meio do algoritmo de busca e, em seguida, o quadro atual é calculado. É uma forma de codificação com a diferença vetorial entre os quadros de referência frontal e traseiro. Por meio dos dois quadros consecutivos a seguir na Figura 2, podemos ver que o esquiador está se deslocando para a frente, mas na verdade a cena da neve está retrocedendo e o quadro P é referenciado. Os quadros (I ou outros quadros P) podem ser codificados, o tamanho depois que a codificação é muito pequena, e a taxa de compressão é muito alta.
Link de referência sobre a moldura http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Alguns alunos podem estar interessados em saber como essas duas fotos vieram. Aqui estão duas linhas de comandos FFmpeg a serem alcançados. Para obter mais detalhes sobre o FFmpeg, consulte os seguintes capítulos:
A primeira linha gera um vídeo com um vetor em movimento
A segunda linha mostra cada quadro como uma imagem
Use o comando
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Além da redundância espacial e compactação de redundância temporal, há principalmente compactação de codificação e compactação visual. A seguir está o fluxograma principal de um codificador:
A Figura 3 e a Figura 4 são dois processos. A Figura 3 é a codificação intraquadro e a Figura 4 é a codificação interquadro. A principal diferença vista na figura é que o primeiro passo é diferente. Na verdade, esses dois processos também são combinados. De um modo geral, o quadro I e o quadro P usam codificação intraquadro e codificação interquadro, respectivamente.
Seleção do codificador
Eu resolvi o princípio e o processo básico do codificador. O codificador passou por décadas de desenvolvimento. Ele evoluiu do suporte apenas para codificação intra-frame para a nova geração de codificadores representada por H.265 e VP9 hoje. No momento, alguns codificadores comuns são analisados, e nós o levaremos para explorar o mundo dos codificadores.
H.264
Introdução
O projeto H.264 / AVC pretende criar um padrão de vídeo. Comparado com o padrão antigo, ele pode fornecer vídeo de alta qualidade em uma largura de banda menor (em outras palavras, apenas metade da largura de banda de MPEG-2, H.263 ou MPEG-4 Parte 2 ou menos) sem adicionar muita complexidade de design. impossível de alcançar ou o custo de implementação é muito alto. Outro objetivo é fornecer flexibilidade suficiente para ser usado em vários aplicativos, redes e sistemas, incluindo largura de banda alta e baixa, alta e baixa resolução de vídeo, transmissão, armazenamento de DVD, redes RTP / IP e sistema de telefones multimídia ITU-T.
O H.264 / AVC contém uma série de novos recursos, tornando-o não apenas mais eficiente do que os codecs anteriores, mas também pode ser usado em aplicativos em vários ambientes de rede. Essa base técnica faz com que o H.264 se torne o principal codec usado por empresas de vídeo online, incluindo o YouTube, mas usá-lo não é uma tarefa muito fácil. Em teoria, usar o H.264 requer muito dinheiro. Taxas de patentes.
Licença de patente
Como a primeira e a segunda partes do MPEG-2 e a segunda parte do MPEG-4, os fabricantes de produtos e provedores de serviços que usam H.264 / AVC precisam pagar taxas de licença de patente aos detentores de patentes. A principal fonte dessas licenças de patentes é uma organização privada chamada MPEG-LA LLC. Essa organização não tem nada a ver com a Organização de Padronização MPEG, mas também gerencia o MPEG-2 Parte Um Sistema, Parte Dois Vídeo e MPEG-4 Parte Um. Licenças de patentes de vídeo em duas partes e outras tecnologias.
Outras licenças de patente precisam ser aplicadas a outra organização privada chamada VIA Licensing, que também gerencia licenças de patentes para padrões de compressão de áudio, como MPEG-2 AAC e MPEG-4 Audio.
Implementação de código aberto de H.264
openh264 é um programa de codificação H.264 de código aberto implementado pela Cisco. Embora o H.264 exija uma alta taxa de patente, há um limite anual para a taxa de patente. Depois que a Cisco paga a taxa anual de patente pelo OpenH264, o OpenH264 é, na verdade, gratuito Use-o gratuitamente.
x264 é um software gratuito de codificação de vídeo licenciado sob GPL. A principal função do x264 é realizar a codificação de vídeo H.264 / MPEG-4 AVC, não como um decodificador.
Excluindo a questão do custo para comparação:
O uso da CPU do openh264 é muito menor do que x264
openh264 suporta apenas perfil de linha de base, x264 suporta mais perfis
HEVC / H.265
Introdução
A codificação de vídeo de alta eficiência (HEVC) é um padrão de compressão de vídeo (também chamado de H.265), considerado o sucessor do padrão ITU-T H.264 / MPEG-4 AVC. Em 2004, o ISO / IEC Moving Picture Experts Group (MPEG) e o ITU-T Video Coding Experts Group (VCEG) começaram a se desenvolver como ISO / IEC 23008-2 MPEG-H Parte 2 ou ITU-T H.265. A primeira versão do padrão de compressão de vídeo HEVC / H.265 foi aceita como o padrão oficial da International Telecommunication Union (ITU-T) em 13 de abril de 2013. HEVC é considerado não apenas para melhorar a qualidade do vídeo, mas também para atingir o dobro a taxa de compressão de H.264 / MPEG-4 AVC (equivalente a uma redução de 50% na taxa de bits sob a mesma qualidade de imagem) e pode suportar resolução 4K e até TV de ultra-alta definição (UHDTV), a resolução mais alta pode alcance 8192 × 4320 (resolução de 8K).
Licença de patente
HEVC exige que todos os fabricantes de conteúdo que usam a tecnologia H.265, incluindo Apple, YouTube, Netflix, Facebook e Amazon, paguem 0.5% de sua receita de conteúdo como uma taxa de uso de tecnologia. Todo o mercado de streaming media atinge cerca de 100 bilhões de dólares americanos a cada ano, e continua a crescer. No crescimento, a taxa de 0.5% é definitivamente uma taxa enorme. E eles não dispensaram os fabricantes de equipamentos, entre os quais os fabricantes de TV precisam pagar US $ 1.5 por unidade e os fabricantes de dispositivos móveis 0.8 dólares por unidade em taxas de patentes. Eles nem mesmo dispensaram fabricantes como aparelhos de Blu-ray, consoles de jogos e gravadores de vídeo, que devem pagar US $ 1.1 cada.
Implementação de código aberto de H.265 / HEVC
libde265 HEVC é fornecido pela empresa struktur sob a licença de código aberto GNU Lesser General Public License (LGPL), e os visualizadores podem desfrutar de imagens da mais alta qualidade em velocidades mais lentas de internet. Comparado com os decodificadores anteriores baseados no padrão H.264, o decodificador libde265 HEVC pode trazer seu conteúdo full HD para até o dobro da audiência ou reduzir a largura de banda necessária para streaming em 50%.
x265 é desenvolvido pela MulticoreWare e tem código-fonte aberto sob o contrato GPL.
VP8
Introdução
VP8 é um formato de compressão de vídeo aberto que foi desenvolvido primeiro pela On2 Technologies e depois lançado pelo Google. Ao mesmo tempo, o Google também lançou a biblioteca de implementação codificada VP8: libvpx, que foi lançada na forma de termos de licença BSD e, posteriormente, adicionou o direito de uso da patente. Depois de alguns argumentos, a autorização do VP8 foi finalmente confirmada como uma autorização de código aberto.
Atualmente, os navegadores que suportam VP8 são Opera, Firefox e Chrome.
Licença de patente
Em março de 2013, o Google chegou a um acordo com a MPEG LA e 11 detentores de patentes para permitir que o Google obtivesse VP8 e seu VPx anterior e outras codificações que possam ser infringidas em patentes. Ao mesmo tempo, o Google também pode reautorizar patentes relacionadas para usuários do VP8 gratuitamente. , Este contrato também é adequado para a próxima geração de codificação VPx. Até agora, a MPEG LA desistiu do estabelecimento da aliança de licenciamento centralizado de patentes VP8, e os usuários do VP8 poderão determinar o uso deste código gratuitamente, sem se preocupar com possíveis royalties de violação de patente.
Implementação de código aberto do VP8
Libvpx é a única implementação de código aberto do VP8. Foi desenvolvido pela On2 Technologies. Depois que o Google o adquiriu, ele abriu seu código-fonte. A licença é muito frouxa e pode ser usada livremente.
VP9
Introdução
O desenvolvimento do VP9 começou no terceiro trimestre de 2011. O objetivo é reduzir o tamanho do arquivo em 50% em comparação com a codificação VP8 na mesma qualidade de imagem. Outro objetivo é superar a codificação HEVC em eficiência de codificação.
Em 13 de dezembro de 2012, o navegador Chromium adicionou suporte para codificação VP9. O navegador Chrome começou a oferecer suporte à reprodução de vídeo codificado em VP9 em 21 de fevereiro de 2013.
O Google anunciou que concluirá o desenvolvimento do código VP9 em 17 de junho de 2013, quando o navegador Chrome guiará o código VP9 por padrão. Em 18 de março de 2014, a Mozilla adicionou suporte VP9 ao navegador Firefox.
Em 3 de abril de 2015, o Google lançou libvpx1.4.0, que adicionou suporte para profundidade de bits de 10 e 12 bits, amostragem de croma 4: 2: 2 e 4: 4: 4 e codificação / decodificação VP9 multi-core.
Licença de patente
VP9 é um formato de codificação de vídeo livre de royalties de formato aberto.
Implementação de código aberto do VP9
libvpx é a única implementação de código aberto do VP9, desenvolvido e mantido pelo Google. Alguns dos códigos são compartilhados por VP8 e VP9, e o resto são as implementações de codec de VP8 e VP9, respectivamente.
Comparação de VP9 e H.264 e HEVC
Comparação de HEVC e H.264 em diferentes resoluções
Comparado com H.264 / MPEG-4, a redução média da taxa de bits de HEVC é:
Pode-se ver que a taxa de bits caiu mais de 60%
HEVC (H.265) tem uma vantagem maior na economia de taxa de bits para VP9 e H.264, economizando 48.3% e 75.8% respectivamente no mesmo PSNR
O H.264 tem uma grande vantagem no tempo de codificação. Comparado com VP9 e HEVC (H.265), HEVC é 6 vezes maior que VP9 e VP9 é quase 40 vezes maior que H.264.
