FMUSER Transmitir vídeo e áudio sem fio mais fácil!
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> albanês
ar.fmuser.org -> árabe
hy.fmuser.org -> armênio
az.fmuser.org -> Azerbaijão
eu.fmuser.org -> Basco
be.fmuser.org -> bielorrusso
bg.fmuser.org -> búlgaro
ca.fmuser.org -> catalão
zh-CN.fmuser.org -> Chinês (simplificado)
zh-TW.fmuser.org -> chinês (tradicional)
hr.fmuser.org -> croata
cs.fmuser.org -> checo
da.fmuser.org -> dinamarquês
nl.fmuser.org -> holandês
et.fmuser.org -> estoniano
tl.fmuser.org -> filipino
fi.fmuser.org -> finlandês
fr.fmuser.org -> francês
gl.fmuser.org -> galego
ka.fmuser.org -> georgiano
de.fmuser.org -> alemão
el.fmuser.org -> grego
ht.fmuser.org -> crioulo haitiano
iw.fmuser.org -> hebraico
hi.fmuser.org -> Hindi
hu.fmuser.org -> húngaro
is.fmuser.org -> islandês
id.fmuser.org -> indonésio
ga.fmuser.org -> irlandês
it.fmuser.org -> italiano
ja.fmuser.org -> Japonês
ko.fmuser.org -> coreano
lv.fmuser.org -> letão
lt.fmuser.org -> Lituano
mk.fmuser.org -> macedônio
ms.fmuser.org -> malaio
mt.fmuser.org -> maltês
no.fmuser.org - norueguês
fa.fmuser.org -> persa
pl.fmuser.org -> polonês
pt.fmuser.org -> português
ro.fmuser.org -> romeno
ru.fmuser.org -> russo
sr.fmuser.org -> Sérvio
sk.fmuser.org -> Eslovaco
sl.fmuser.org -> esloveno
es.fmuser.org -> espanhol
sw.fmuser.org -> Swahili
sv.fmuser.org -> sueco
th.fmuser.org -> Tailandês
tr.fmuser.org -> turco
uk.fmuser.org -> ucraniano
ur.fmuser.org -> Urdu
vi.fmuser.org -> vietnamita
cy.fmuser.org -> Galês
yi.fmuser.org -> iídiche
O desafio da tecnologia de transmissão ao vivo móvel está longe do equipamento tradicional ou da transmissão ao vivo por computador. Seus links de processamento completos incluem, mas não se limitam a: aquisição de áudio e vídeo, processamento de beleza / filtro / efeito especial, codificação, pacote, streaming, transcodificação, distribuição, decodificação / renderização / reprodução, etc.
Os problemas comuns de transmissão ao vivo incluem:
Como o fluxo de host pode ser estável em um ambiente de rede instável?
Como o público em áreas remotas pode assistir à transmissão ao vivo sem problemas em alta definição?
Como trocar a linha de forma inteligente no instante da carta ao vivo?
Como medir a precisão do índice de qualidade da transmissão ao vivo e ajustá-lo em tempo real?
Como diferentes plataformas de chip em dispositivos móveis podem codificar e renderizar vídeo com alto desempenho?
Como lidar com os efeitos especiais de filtros como a beleza?
Como realizar o segundo tempo de reprodução?
Como garantir a transmissão contínua de transmissão ao vivo sem problemas, sem cardar?
Esse compartilhamento irá desvendar o mistério da tecnologia central da transmissão móvel.
1. Conhecimento básico de vídeo, transmissão ao vivo e assim por diante
O que é vídeo?
Primeiro, precisamos entender um dos conceitos mais básicos: vídeo. Do ponto de vista perceptivo, o vídeo é um filme cheio de diversão, pode ser um filme, pode ser um curta-metragem, é um desempenho visual coerente e rico em imagem e áudio. Mas de um ponto de vista racional, o vídeo é um dado estruturado. Pode ser interpretado em linguagem de engenharia. Podemos analisar o vídeo na seguinte estrutura:
1) Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
2) Elemento de conteúdo
3) imagem
4) Áudio
5) Meta informação
6) Codec
Vídeo: H.264, H.265,…
Áudio: AAC, HE-AAC, ...
7) Container
MP4, MOV, FLV, RM, RMVB, AVI, ...
Qualquer arquivo de vídeo de vídeo, estruturalmente, é uma forma de composição:
1) Os elementos de conteúdo mais básicos são compostos por imagem e áudio;
2) A imagem é processada por codificação de vídeo e formato de compressão (geralmente H.264);
3) O áudio é processado pelo formato de compressão de codificação de áudio (como AAC);
4) Indique a meta informação correspondente (metadados);
Finalmente, o pacote do contêiner (como MP4) é completado para formar um arquivo de vídeo completo.
Se você acha que é difícil entender, imagine uma garrafa de ketchup. A garrafa da camada externa é como o recipiente, as matérias-primas e as informações da planta de processamento indicadas na garrafa são como metadados. Depois que a tampa da garrafa é aberta (descompactada), o próprio ketchup é como o conteúdo codificado após o processamento da compressão. O processo de processamento do tomate e do tempero em ketchup é como a codificação, enquanto a matéria-prima do tomate e o tempero são os mais semelhantes ao elemento de conteúdo original.
2. Transmissão de vídeo em tempo real
Em suma, a estrutura cognitiva racional do vídeo nos ajuda a entender a transmissão do vídeo. Se o vídeo é um tipo de dado estruturado, então a transmissão de vídeo é, sem dúvida, a forma de transmitir esses "dados estruturados" (vídeo) em tempo real.
Portanto, a pergunta óbvia é: como o tempo real pode transmitir esses dados estruturados?
Aqui está um paradoxo: um vídeo empacotado em contêiner deve ser um arquivo de vídeo imutável, o arquivo de vídeo imutável já é um resultado de produção, de acordo com a "relatividade", e este resultado de produção não pode ser preciso ao nível de tempo real, foi uma memória de tempo e espaço.
Portanto, a transmissão de vídeo deve ser um processo de "produção, transmissão e consumo". Isso significa que precisamos dar uma olhada mais de perto no processo intermediário (codificação) do vídeo antes dos elementos do conteúdo original (imagens e áudio) para o produto final (arquivos de vídeo).
3. Compressão de codificação de vídeo
Vamos dar uma olhada na codificação de vídeo e na tecnologia de compressão.
Para facilitar o armazenamento e a transmissão do conteúdo de vídeo, geralmente é necessário reduzir o volume do conteúdo de vídeo, ou seja, os elementos do conteúdo original (imagem e áudio) precisam ser compactados, e o algoritmo de compactação também é denominado o formato de codificação. Por exemplo, os dados da imagem original no vídeo serão compactados no formato de codificação H.264 e os dados de amostragem de áudio serão compactados no formato de codificação AAC.
Após a codificação e compactação, o conteúdo de vídeo é realmente propício para armazenamento e transmissão; no entanto, ao assistir e jogar, o processo de decodificação também é necessário. Portanto, é óbvio que um tipo de convenção pode ser entendida tanto pelo codificador quanto pelo decodificador é necessária entre a codificação e a decodificação. Em termos de codificação e decodificação de imagens de vídeo, esta Convenção é simples:
O codificador codifica várias imagens e produz um GOP (grupo de imagens) em um segmento. Ao jogar, o decodificador lê uma seção do GOP para decodificação, então lê a imagem e então renderiza a exibição.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
GOP (grupo de imagens) é uma série de imagens contínuas, que consiste em um quadro I e vários quadros B / P. É a unidade básica de acesso ao codificador e decodificador de imagens de vídeo. Sua seqüência de arranjo será repetida até o final da imagem.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
O quadro I é um quadro de codificação interno (também conhecido como quadro-chave), o quadro P é o quadro de previsão direta (quadro de referência direto) e o quadro B é o quadro de interpolação bidirecional (quadro de referência bidirecional). Em suma, o quadro I é uma imagem completa, enquanto P e B registram as mudanças em relação ao quadro I.
Sem os quadros I, os quadros P e B não podem ser decodificados.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Em resumo, um vídeo cujos dados de parte da imagem são um conjunto de GOPs, enquanto um único GOP é um conjunto de imagens de quadro I / P / B.
Em tal relação geométrica, o vídeo é como um "objeto", GOP é como "molécula" e a imagem do quadro I / P / B é como "átomo".
Imagine o que seria uma experiência se mudássemos a transmissão de um objeto para um átomo, e a menor partícula na velocidade da luz, e percebida a olho nu dos seres humanos?
4. O que é vídeo ao vivo?
Não é difícil abrir o buraco do cérebro, a transmissão ao vivo é uma experiência. A tecnologia de vídeo ao vivo é a menor partícula (quadro I / P / B), uma tecnologia de transmissão à velocidade da luz baseada em séries temporais.
Resumindo, a transmissão ao vivo é o processo de transmissão de dados (vídeo / áudio / quadro de dados) e registro de data e hora. O transmissor coleta continuamente dados de áudio e vídeo, depois se espalha por meio de codificação, pacote, fluxo de envio e, em seguida, se espalha pela rede de distribuição de retransmissão. O final da reprodução baixa dados continuamente e decodifica e reproduz de acordo com a sequência de tempo. Desta forma, realiza-se o processo de transmissão ao vivo de "produção, transmissão e consumo".
Depois de compreender os dois conceitos básicos acima sobre vídeo e transmissão ao vivo, podemos ver a lógica de negócios da transmissão ao vivo.
Lógica de negócios da transmissão ao vivo
Aqui está um modelo simplificado de serviço ao vivo, bem como protocolos entre níveis diferentes.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
As diferenças entre os acordos são as seguintes
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Acima estão alguns conceitos básicos sobre tecnologia de transmissão ao vivo. Em seguida, entendemos melhor os indicadores de desempenho ao vivo que afetam a experiência visual das pessoas.
Índice de desempenho da transmissão ao vivo afetando a experiência visual
O primeiro indicador de desempenho da transmissão ao vivo é o atraso, que é o tempo necessário para que os dados sejam enviados da fonte de informação ao destino.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
De acordo com a estreita relatividade de Einstein, a velocidade da luz é a velocidade mais alta que toda energia, matéria e informação podem atingir. Esta conclusão estabelece um limite para a velocidade de transmissão. Portanto, mesmo que pareçamos estar em tempo real a olho nu, há um certo atraso.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Como o rtmp / hls é baseado no protocolo da camada de aplicativo sobre TCP, os handshakes TCP três vezes, quatro ondas e cada viagem de ida e volta no processo de início lento serão adicionados com um tempo de ida e volta (RTT), que aumentará o atraso.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Em segundo lugar, de acordo com as características da retransmissão de perda de pacote TCP, o jitter da rede pode causar retransmissão de perda de pacote e também indiretamente levar ao aumento do atraso.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Um processo completo de transmissão ao vivo inclui, mas não está limitado aos seguintes links: coleta, processamento, codificação, pacote, streaming, transmissão, transcodificação, distribuição, streaming, decodificação e reprodução. Do streaming à reprodução e, em seguida, por meio do link de encaminhamento intermediário, quanto menor o atraso, melhor será a experiência do usuário.
O segundo indicador de desempenho da transmissão ao vivo é o atraso do quadro de exibição no processo de reprodução de vídeo, o que faz as pessoas se sentirem "perdidas". A estatística do número de acertos jogados em unidade de tempo é chamada de taxa de carting.
Os fatores que causam o Caton podem ser a interrupção dos dados do final do streaming, o congestionamento da transmissão da rede pública ou jitter anormal da rede ou o desempenho de decodificação insatisfatório dos dispositivos terminais. Quanto menos ou nenhuma frequência Caton, melhor será a experiência do usuário.
A primeira tela do terceiro indicador de desempenho ao vivo é demorada, que se refere ao tempo que a tela espera a olho nu para ver após o primeiro clique e reprodução. Tecnicamente, refere-se ao tempo gasto para o jogador decodificar o primeiro quadro da exibição de renderização. De um modo geral, "segundo ligado" refere-se à tela que pode ser vista dentro de um segundo após clicar na reprodução. Quanto mais rápido a primeira tela abrir, melhor será a experiência do usuário.
Os três indicadores de desempenho de transmissão ao vivo acima correspondem a uma latência baixa, alta definição suave e rápida nos requisitos de experiência do usuário. Compreender esses três indicadores de desempenho é muito importante para otimizar a experiência do usuário no aplicativo móvel ao vivo.
Então, quais são os pontos comuns na transmissão ao vivo móvel?
De acordo com a experiência resumida na prática, o pit de vídeo transmitido ao vivo em plataforma móvel pode ser resumido em dois aspectos: diferença de equipamentos e teste técnico trazido por essas cenas em ambiente de rede.
O fosso e as medidas de prevenção da cena de transmissão ao vivo móvel
Diferenças de codificação em diferentes plataformas de chip
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Não importa a codificação rígida ou suave na plataforma IOS, porque é uma fábrica da apple, quase não há diferença de codificação devido às diferentes plataformas de chip.
No entanto, na plataforma Android, o codificador mediacodec fornecido pelo Android framework SDK tem grandes diferenças em diferentes plataformas de chip. Diferentes fabricantes usam chips diferentes, enquanto o desempenho do mediacodec do Android é ligeiramente diferente em diferentes plataformas de chip, e o custo de realização da compatibilidade de toda a plataforma não é baixo.
Além disso, os parâmetros de qualidade de codificação H.264 da camada de codificação de hardware mediacodec do Android são fixos, portanto, a qualidade da pintura geralmente também é geral. Portanto, na plataforma Android, a recomendação é usar edição suave, a vantagem é que a qualidade da pintura pode ser regulada e a compatibilidade é melhor.
Como coletar e codificar equipamentos de baixo custo com alto desempenho?
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Por exemplo, a câmera pode ser a imagem. O volume de uma imagem não é pequeno. Se a frequência de aquisição for muito alta e a taxa de quadros da codificação for muito alta, cada imagem passa pelo codificador, o codificador pode sobrecarregar novamente.
Neste momento, podemos considerar que antes de codificar, sem afetar a qualidade da imagem (já falamos sobre a micro importância da taxa de quadros), podemos perder quadros seletivamente, de modo a reduzir o consumo de energia do link de codificação.
Como garantir um streaming suave de alta definição em uma rede fraca
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Na rede móvel, é fácil encontrar instabilidade de rede, redefinição de conexão, reconexão de linha interrompida, por um lado, reconexão frequente e o estabelecimento de conexão requer sobrecarga. Por outro lado, o gargalo da largura de banda pode ocorrer especialmente quando ocorre a alternância GPRS / 2G / 3G / 4G. Quando a largura de banda não é suficiente, o conteúdo com alta taxa de quadros / alta taxa de bits é difícil de enviar, portanto, é necessário suporte para taxa de bits variável.
Ou seja, na extremidade do push, o estado da rede e a medição simples da velocidade podem ser detectados, e a taxa de código pode ser alternada dinamicamente para garantir o fluxo suave do push durante a comutação da rede.
Em segundo lugar, a lógica da codificação, do pacote e do fluxo push também pode ser ajustada. Você pode tentar perder quadros seletivamente, como perder primeiro o quadro de referência de vídeo (quadro I e quadro de áudio), o que também pode reduzir o conteúdo dos dados a serem transmitidos, mas, ao mesmo tempo, pode atingir o objetivo de não afetar o qualidade de pintura e versão audiovisual suave.
O status e o status do negócio da transmissão ao vivo precisam ser distinguidos
A transmissão ao vivo é a interação do fluxo de mídia e o aplicativo é o fluxo de sinalização da API, e o status de ambos não pode ser confundido. Em particular, o status da transmissão ao vivo não pode ser julgado com base no estado da API de interação do APP.
Experiência do segundo em Otimização de tecnologia de transmissão ao vivo móvel (incluindo ppt)
Os itens acima são vários poços comuns e medidas de prevenção na cena móvel ao vivo.
Outras medidas de otimização para a cena de transmissão ao vivo móvel
1 、 Como otimizar a velocidade de abertura para alcançar o lendário "segundo on"?
Você pode ver que alguns aplicativos ativos para celulares no mercado são muito rápidos, um pouco ativos. E alguns telefones celulares live app, clique para jogar após alguns segundos antes de jogar. O que causa essa diferença?
A maioria dos jogadores pode decodificar e jogar depois de obter um GOP completo. Os reprodutores baseados em Ffmpeg só podem ser reproduzidos depois que a sincronização do carimbo de data / hora de áudio e pintura for necessária (se não houver áudio em uma transmissão ao vivo, apenas o vídeo pode reproduzir o rosto depois de aguardar o tempo limite do áudio).
O segundo pode ser considerado nos seguintes aspectos:
1. reescrever a lógica do jogador para exibi-lo após obter o primeiro quadro-chave.
O primeiro quadro do GOP geralmente é o quadro-chave e pode atingir o "primeiro quadro em segundo lugar" devido à menor quantidade de dados carregados.
Se o servidor ao vivo suportar cache GOP, isso significa que o jogador pode obter os dados imediatamente após estabelecer uma conexão com o servidor, economizando assim o tempo de transmissão da fonte de retorno entre regiões e operadoras.
GOP reflete o período de quadros-chave, ou seja, a distância entre dois quadros-chave, ou seja, o número máximo de quadros em um grupo de quadros. Assumindo que a taxa de quadros constante de um vídeo é 24 fps (ou seja, 1 segundo 24 quadros) e o período do quadro-chave é 2S, então um GOP é de 48 imagens. Em geral, pelo menos um quadro-chave é necessário para cada segundo de vídeo.
Aumentar o número de quadros-chave melhora a qualidade da imagem (GOP geralmente é um múltiplo de FPS), mas aumenta a largura de banda e a carga da rede ao mesmo tempo. Isso significa que o jogador cliente baixa um GOP.
|
Digite o e-mail para obter uma surpresa
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> albanês
ar.fmuser.org -> árabe
hy.fmuser.org -> armênio
az.fmuser.org -> Azerbaijão
eu.fmuser.org -> Basco
be.fmuser.org -> bielorrusso
bg.fmuser.org -> búlgaro
ca.fmuser.org -> catalão
zh-CN.fmuser.org -> Chinês (simplificado)
zh-TW.fmuser.org -> chinês (tradicional)
hr.fmuser.org -> croata
cs.fmuser.org -> checo
da.fmuser.org -> dinamarquês
nl.fmuser.org -> holandês
et.fmuser.org -> estoniano
tl.fmuser.org -> filipino
fi.fmuser.org -> finlandês
fr.fmuser.org -> francês
gl.fmuser.org -> galego
ka.fmuser.org -> georgiano
de.fmuser.org -> alemão
el.fmuser.org -> grego
ht.fmuser.org -> crioulo haitiano
iw.fmuser.org -> hebraico
hi.fmuser.org -> Hindi
hu.fmuser.org -> húngaro
is.fmuser.org -> islandês
id.fmuser.org -> indonésio
ga.fmuser.org -> irlandês
it.fmuser.org -> italiano
ja.fmuser.org -> Japonês
ko.fmuser.org -> coreano
lv.fmuser.org -> letão
lt.fmuser.org -> Lituano
mk.fmuser.org -> macedônio
ms.fmuser.org -> malaio
mt.fmuser.org -> maltês
no.fmuser.org - norueguês
fa.fmuser.org -> persa
pl.fmuser.org -> polonês
pt.fmuser.org -> português
ro.fmuser.org -> romeno
ru.fmuser.org -> russo
sr.fmuser.org -> Sérvio
sk.fmuser.org -> Eslovaco
sl.fmuser.org -> esloveno
es.fmuser.org -> espanhol
sw.fmuser.org -> Swahili
sv.fmuser.org -> sueco
th.fmuser.org -> Tailandês
tr.fmuser.org -> turco
uk.fmuser.org -> ucraniano
ur.fmuser.org -> Urdu
vi.fmuser.org -> vietnamita
cy.fmuser.org -> Galês
yi.fmuser.org -> iídiche
FMUSER Transmitir vídeo e áudio sem fio mais fácil!
Contato
Endereço:
No.305 Sala HuiLan Edifício No.273 Huanpu Road Guangzhou China 510620
Categorias
Newsletter