Desenvolvimento de sistema de transmissão ao vivo IOS (princípio)

4. Uma arquitetura de aplicativo de transmissão ao vivo completa (3)

5. Pontos técnicos de um aplicativo de transmissão ao vivo completo (4)

3. Compreender mídia de streaming (mídia de streaming é necessária para transmissão ao vivo)
Desenvolvimento de mídia de streaming: a camada de rede (socket ou st) é responsável pela transmissão, a camada de protocolo (rtmp ou hls) é responsável pelo empacotamento da rede, a camada de encapsulamento (flv, ts) é responsável pelo encapsulamento dos dados do codec e o camada de codificação (h.264 e aac) é responsável pela imagem, compressão de áudio.
Quadro: Cada quadro representa uma imagem estática
GOP: (Grupo de imagens) grupo de imagens, um GOP é um grupo de imagens contínuas, cada imagem é um quadro, um GOP é uma coleção de muitos quadros
Os dados ao vivo são, na verdade, um conjunto de imagens, incluindo quadros I, quadros P e quadros B. Quando o usuário os assistir pela primeira vez, eles procurarão os I-frames, e o jogador irá para o servidor para encontrar os I-frames mais próximos e os enviará de volta para o usuário. Portanto, o GOP Cache aumenta a latência de ponta a ponta porque deve obter o quadro I mais próximo. Quanto maior for o comprimento do cache GOP, melhor será a qualidade da imagem
Taxa de bits: A quantidade de dados exibidos por segundo depois que a imagem é compactada.
Taxa de quadros: O número de fotos exibidas por segundo. Afeta a suavidade da imagem e é diretamente proporcional à suavidade da imagem: quanto maior a taxa de quadros, mais uniforme será a imagem; quanto mais baixa for a taxa de quadros, mais saliente será a imagem.
Devido à estrutura fisiológica especial do olho humano, se a taxa de quadros da imagem visualizada for superior a 16, ela será considerada coerente. Este fenômeno é chamado de persistência da visão. E quando a taxa de quadros atinge um determinado valor, se aumentar novamente, não é fácil para o olho humano perceber um aumento significativo na fluência.
Resolução: (retangular) o comprimento e a largura da imagem, ou seja, o tamanho da imagem
Dados por segundo antes da compressão: taxa de quadros X resolução (a unidade deve ter vários bytes)
Taxa de compressão: A quantidade de dados por segundo / taxa de bits antes da compressão (para a mesma fonte de vídeo e usando o mesmo algoritmo de codificação de vídeo, então: quanto maior a taxa de compressão, pior é a qualidade da imagem.)
Formato do arquivo de vídeo: o sufixo do arquivo, como .wmv, .mov, .mp4, .mp3, .avi,
Uso principal, de acordo com o formato do arquivo, o sistema determinará automaticamente qual software abrir,
Nota: Modifique o formato do arquivo à vontade, não terá muito impacto no próprio arquivo, como mudar avi para mp4, o arquivo ainda é avi.
Formato de encapsulamento de vídeo: um contêiner para armazenar informações de vídeo. O encapsulamento de streaming pode incluir TS, FLV, etc., o encapsulamento indexado inclui MP4, MOV, AVI, etc.,
Função principal: Um arquivo de vídeo geralmente contém imagens e áudio, bem como algumas informações de configuração (como a associação de imagens e áudio, como decodificá-los, etc.): esses conteúdos precisam ser organizados e empacotados de acordo com certas regras.
Nota: Você descobrirá que o formato de pacote é o mesmo que o formato de arquivo, porque o sufixo do formato de arquivo de vídeo geral usa o nome do formato de pacote de vídeo correspondente, portanto, o formato de arquivo de vídeo é o formato de pacote de vídeo.