Äänen ja videon kehittäminen ja oppiminen

 Oletetaan ensin, että jollakin on nolla ääni- ja videopohjaa eikä hän ole koskaan oppinut mitään digitaaliseen signaalinkäsittelyyn liittyvää tietoa. Matemaattinen perusta on pohjimmiltaan lukiotaso, mutta hän tuntee C / C ++ -kehityksen, ainakin tuntee IDE: n kokoamisen ja virheenkorjauksen tietyllä alustalla.

Keskity kahteen avoimen lähdekoodin projektiin ffmpeg ja webRTC, tarkastelemalla pääasiassa ffmpegin video- ja webRTC-ääniosaa.

Ensinnäkin, aloita videodekoodauksella. Tämä on yksinkertaisin. Ffmpeg-videodekoodauksen kutsun peruskoodi on vain noin 100 riviä. Videodekoodauksen on ymmärrettävä vain h.264, 80% + kohtaukset ovat tässä koodausmuodossa, ymmärrettävä H.264 sps pps NAL ja muut tiedostomuodon käsitteet, YUV-kuvamuodon periaate ja YUV-muunnos RGB: ksi , Joten voit tehdä kuvien renderoinnin, voit saavuttaa yksinkertaisen videosoittimen. (Pohjimmiltaan ensimmäisessä vaiheessa)

Sitten videokoodauksen oppimiseksi on suositeltavaa aloittaa x264: llä, yksinkertainen kutsu x264-koodauskoodiin on alle 100 riviä. Koodaus on monimutkaisempaa kuin dekoodaus, koska dekoodaus ei vaadi parametrien konfigurointia, ja koodauksessa on suuri määrä parametreja, jotka on määritettävä. Alussa ymmärrä vain muutama peruskäsite, kuten kehysnopeus, yleiset virtauksenohjausmenetelmät ABR CRF, GOP, I / B Mitä / P Frame tarkoittaa vastaavasti. (Tuttu jälleen X264-koodauksesta)

Ääniosan koodekki on samanlainen kuin videon. Alkuvaiheessa sinun tarvitsee vain ymmärtää kaksi enkooderia EAAC + ja Silk, ymmärtää äänikanavan, näytteenottotaajuuden jne. Käsitteet ja ymmärtää Wave-tiedostomuoto. Voi olla yksinkertainen audiosoitin. (Tee audiosoitin)

Äänen monimutkainen osa ei ole koodekki, vaan äänitehoste. Tutustu webRTC: n äänenkäsittelymoduuliin ja ymmärrä seuraavat käsitteet: NS: n poisto, kaiunpoisto AEC, mykistystunnistava VAD, automaattinen vahvistuksen hallinta AGC ja sisäänrakennettu webRTC. Vaikka algoritmi ei ole paras, se voi ratkaista yli 90% ongelmista, ja se kannattaa oppia. (Opi webrtc-äänenkäsittely)

Kun olen oppinut tämän, minun on mietittävä kysymystä, haluanko mennä suunnittelureitille vai algoritmiselle reitille. Jos se on algoritminen reitti, minun on opittava matematiikkaa. Digitaalisen signaalinkäsittelyn takana on suuri määrä matemaattisia perusteorioita. Jos se on tekninen reitti, sinun on opittava alustojen välinen kehitys, opittava äänen ja videon kerääminen, toisto ja käsittely useilla alustoilla ja opittava kokoonpanokielen optimointi useilla alustoilla. (Alustaan ​​liittyvä)

Ääni ja video ovat hyvin syvä ala, etkä koskaan saa loppuun oppimista elinaikanaan, mutta tällä kentällä on se etu, että tiedon päivityksen nopeus on suhteellisen hidasta, opittuja asioita ei ole helppo eliminoida ja kokemuksen kertyminen on erittäin tärkeää. v

Meidän muiden tuotteiden:

Ammattimainen ukkossuojajärjestelmä Towerille	Ammattimainen FM-radioasemalaitepaketti	FMUSER FU-1000C 1000W FM-lähetin USB-äänituloliitännällä
FMUSER 200W FM-radiolähetyspaketti	Hotelli IPTV-ratkaisu	FMUSER FSN-1000T V5.0 1KW FM-radiolähetin