Desenvolvimento e aprendizagem de áudio e vídeo

Em primeiro lugar, presumimos que alguém tem base zero em áudio e vídeo e nunca aprendeu nenhum conhecimento relacionado ao processamento de sinais digitais. A base matemática é basicamente de nível médio, mas ele está familiarizado com o desenvolvimento C / C ++, pelo menos familiarizado com a compilação e depuração de IDE em uma determinada plataforma.

Concentre-se nos dois projetos de código aberto ffmpeg e webRTC, principalmente olhando para a parte de vídeo do ffmpeg e a parte de áudio do webRTC.

Primeiro de tudo, comece com a decodificação de vídeo. Este é o mais simples. O código básico para chamar a decodificação de vídeo ffmpeg tem apenas cerca de 100 linhas. A decodificação de vídeo só precisa entender h.264, 80% + cenas estão neste formato de codificação, entender H.264 sps pps NAL básico e outros conceitos de formato de arquivo, entender o princípio do formato de imagem YUV e entender a conversão de YUV em RGB , Assim você pode fazer renderização de imagem, você pode conseguir um reprodutor de vídeo simples. (Basicamente na primeira fase)

Então, para aprender sobre a codificação de vídeo, é recomendável começar com x264, uma chamada simples para o código de codificação x264 tem menos de 100 linhas. A codificação é mais complicada do que a decodificação, pois a decodificação não requer a configuração de nenhum parâmetro e a codificação tem um grande número de parâmetros que precisam ser configurados. No início, apenas entenda alguns conceitos básicos, como taxa de quadros, métodos comuns de controle de fluxo ABR CRF, GOP, I / B O que significa / P Frame, respectivamente. (Familiarizado com a codificação X264 novamente)

O codec da parte de áudio é semelhante ao do vídeo. No estágio inicial, você só precisa entender os dois codificadores EAAC + e Silk, entender os conceitos de canal de som, taxa de amostragem, etc., e entender o formato de arquivo Wave. Pode ser um reprodutor de áudio simples. (Faça um reprodutor de áudio)

A parte complexa do áudio não é o codec, mas o efeito sonoro. Dê uma olhada no módulo de processamento de áudio no webRTC e entenda os seguintes conceitos: denoising NS, cancelamento de eco AEC, detecção de mudo VAD, controle automático de ganho AGC e webRTC integrado. Embora o algoritmo não seja o melhor, ele pode resolver mais de 90% dos problemas e vale a pena aprender. (Aprenda processamento de áudio webrtc)

Depois de aprender isso, preciso pensar sobre uma questão, se desejo seguir uma rota de engenharia ou uma rota algorítmica. Se for uma rota algorítmica, devo aprender matemática. Por trás do processamento de sinal digital está um grande número de teorias matemáticas básicas. Se for uma rota de engenharia, então você deve aprender o desenvolvimento de plataforma cruzada, aprender a coleta, reprodução e processamento de áudio e vídeo em várias plataformas e aprender a otimização de linguagem de montagem em várias plataformas. (Relacionado à plataforma)

Áudio e vídeo são um campo muito profundo, e você nunca terminará de aprender na vida, mas este campo tem a vantagem de que a velocidade de atualização do conhecimento é relativamente lenta, as coisas aprendidas não são fáceis de serem eliminadas e o acúmulo de experiência é muito importante.v