Traktor Pro 3 Stems technologija garso atskyrimas

Kai DJ’ėjimas susiduria su dirbtinio intelekto magija

Kas būtų, jei galėtumėte paimti bet kurią dainą ir ištraukti iš jos tik būgnus? Arba nutildyti vokalą, palikti tik basą ir sintezatorius? Traktor Pro 3 su Stems technologija leidžia būtent tai – realiu laiku skaidyti muzikos takelius į atskirus komponentus. Tai ne kažkoks fantastiškos ateities dalykas, o technologija, kuri jau kelerius metus keičia DJ’ėjimo kultūrą ir galimybes.

Kai Native Instruments pristatė Stems formatą 2015 metais, daugelis manė, kad tai bus tik dar viena praeinanti mada. Bet realybė pasirodė kur kas įdomesnė. Nors originalus Stems formatas neužkariavo pasaulio taip, kaip tikėtasi, pati idėja apie garso sluoksnių atskyrimą išgyveno ir evoliucionavo į kažką dar galingesnio. Dabartinė Traktor Pro 3 versija naudoja pažangius dirbtinio intelekto algoritmus, kurie gali išskaidyti bet kurį įprastą MP3 ar WAV failą į keturis pagrindinius komponentus: būgnus, basą, melodiją ir vokalą.

Kaip kompiuteris „girdi” atskirai kiekvieną instrumentą

Techniškai tai skamba kaip magija, bet iš tikrųjų čia veikia sudėtingas mašininio mokymosi procesas. Programa buvo „mokoma” analizuojant tūkstančius įrašų, kuriuose kiekvienas instrumentas buvo atskirai. Dirbtinis intelektas mokėsi atpažinti specifinius dažnių spektrus, ritminius modelius ir garso charakteristikas, būdingas būgnams, bosui, melodijoms ar vokalui.

Kai įkeliate dainą į Traktor Pro 3, programa realiu laiku atlieka spektrinę analizę – tai reiškia, kad ji „žiūri” į garso bangų formą ir dažnius. Algoritmas ieško tam tikrų požymių: būgnai paprastai turi ryškius trumpus smūgius su žemais dažniais (kick drum) ir aukštais (hi-hat), bosas užima žemą dažnių diapazoną su ilgesnėmis notomis, vokalas turi specifinę žmogaus balso formantų struktūrą, o visa kita priskiriama melodijai.

Bet tai nėra tobulas procesas. Kartais programa gali supainioti – pavyzdžiui, labai žemas vyriškas vokalas gali būti iš dalies priskirtas bosui, arba sintezatorius su daug aukštų dažnių gali patekti į vokalinę dalį. Vis dėlto rezultatai dažniausiai būna stulbinamai geri, ypač su šiuolaikine elektronine muzika, kur instrumentai paprastai turi aiškesnes ribas.

Kodėl originalus Stems formatas nepasitvirtino

Reikia suprasti, kad Traktor Pro 3 dabartinė technologija yra antroji bandymo iteracija. Pirmasis Stems formatas, pristatytas 2015-aisiais, veikė visiškai kitaip. Tai buvo specialus .stem failų formatas – iš esmės tai buvo MP4 konteineris, kuriame buvo saugomi keturi atskiri audio takeliai viename faile.

Problema buvo ta, kad šiems failams reikėjo specialaus paruošimo. Muzikos prodiuseriai ar įrašų kompanijos turėjo pateikti originalias atskirų takelių versijas ir jas sukomponuoti į Stems formatą. Tai reiškė, kad DJ’ai galėjo naudoti tik tas dainas, kurios buvo oficialiai išleistos Stems formatu. O tokių dainų buvo labai nedaug – keletas tūkstančių, palyginti su milijonais įprastų MP3 failų.

Be to, failai buvo didesni, reikėjo daugiau vietos, o pasirinkimas buvo ribotas. Daugelis DJ’ų tiesiog neturėjo prieigos prie savo mėgstamų dainų Stems formatu. Technologija buvo nuostabi, bet praktiškai nepatogu. Tai klasikinis atvejis, kai puiki idėja neprigijo dėl ekosistemos problemų.

Dirbtinio intelekto revoliucija jūsų DJ pultje

Viskas pasikeitė, kai Native Instruments integravo AI pagrįstą garso atskyrimo technologiją tiesiai į Traktor Pro 3. Dabar nebereikia jokių specialių failų formatų. Įkeliate bet kurį savo turimą MP3, FLAC ar WAV failą, ir programa automatiškai jį išskaido į keturis sluoksnius. Tai veikia su bet kuria daina – nuo 80-ųjų roko iki vakarykščio techno relizo.

Technologija remiasi giluminiu mokymusi (deep learning) – konkrečiai, konvoliuciniais neuroniniais tinklais, kurie yra ypač geri analizuojant sudėtingus duomenų modelius. Šie algoritmai buvo treniruoti naudojant dešimtis tūkstančių dainų su atskirai įrašytais instrumentais. Kuo daugiau duomenų sistema „matė” mokymosi metu, tuo geriau ji dabar atpažįsta skirtingus garso komponentus.

Įdomiausia tai, kad viskas vyksta realiu laiku. Nebereikia laukti, kol programa „apdoros” jūsų biblioteką. Kai daina pradeda groti, Traktor Pro 3 analizuoja ją skrydyje ir leidžia iš karto manipuliuoti atskirais sluoksniais. Tai reikalauja nemažai procesoriaus galios, bet šiuolaikiniai kompiuteriai su tuo tvarkosi be problemų.

Ką realiai galite daryti su atskirtais garso sluoksniais

Praktinė pusė čia tikrai įdomi. Turint prieigą prie atskirų dainų komponentų, atsiveria visiškai naujos kūrybinės galimybės. Pirmiausia – galite reguliuoti kiekvieno sluoksnio garsumą atskirai. Norite padaryti akapelinę versiją? Nutildykite viską išskyrus vokalą. Reikia instrumentinės versijos? Išjunkite vokalą.

Bet tai tik pradžia. Galite pritaikyti efektus tik vienam sluoksniui – pavyzdžiui, uždėti reverb tik ant vokalo, arba delay tik ant melodijos. Tai leidžia kurti daug sudėtingesnius ir įdomiausnius perėjimus tarp dainų. Klasikinis pavyzdys: paliekate tik būgnus iš vienos dainos ir pamažu įveskite visus elementus iš kitos.

Labai populiarus triukas yra „drum swap” – pakeičiate vienos dainos būgnus kitos dainos būgnais. Jei turite puikią melodiją, bet silpną ritminę dalį, galite ją sustiprinti būgnais iš kitos dainos. Arba atvirkščiai – paimti įspūdingus būgnus ir ant jų sukurti visiškai naują harmoniją iš kitos kompozicijos.

EQ ir filtrai taip pat veikia kur kas įdomiau su atskirais sluoksniais. Galite pritaikyti high-pass filtrą tik melodijai, palikdami bosą ir būgnus pilnus. Arba atvirkščiai – išfiltruoti žemus dažnius iš vokalo, kad jis skambėtų tarsi per radiją. Galimybės tikrai plačios.

Techniniai niuansai ir apribojimai

Nors technologija įspūdinga, ji nėra tobula. Yra keletas dalykų, kuriuos reikia žinoti prieš tikintis stebuklų. Pirma, garso kokybė šiek tiek nukenčia. Kai algoritmas atskiria sluoksnius, neišvengiamai atsiranda nedidelių artefaktų – kartais girdisi keistas „burbulinis” efektas arba tam tikri dažniai skamba šiek tiek dirbtinai.

Tai ypač pastebima su sudėtingomis, daugiasluoksnėmis kompozicijomis. Kuo daugiau instrumentų groja tuo pačiu metu, tuo sunkiau algoritmui juos atskirti. Pavyzdžiui, orkestrinė muzika ar dense rock miksai gali kelti problemų. Paprastesnės elektroninės kompozicijos su aiškiai apibrėžtais elementais veikia geriausiai.

Antra, procesoriaus apkrova. Nors šiuolaikiniai kompiuteriai gana galingi, realaus laiko garso atskyrimas vis tiek reikalauja nemažai resursų. Jei naudojate seną laptopą ar turite daug kitų programų veikiančių fone, galite susidurti su latency problemomis ar net audio dropouts. Rekomenduojama turėti bent Intel i5 ar AMD Ryzen 5 procesorių ir 8GB RAM.

Trečia, kategorijų ribotumas. Keturi sluoksniai – būgnai, bosas, melodija, vokalas – tai puiku daugumai elektroninės muzikos, bet ne visada idealiai tinka kitoms žanrams. Pavyzdžiui, jei dainoje yra ir gitara, ir klavišiniai, ir styginiai – visi jie bus sumaišyti į „melodijos” kategoriją. Negalėsite jų atskirti dar labiau.

Kaip maksimaliai išnaudoti Stems funkciją

Jei norite rimtai dirbti su šia technologija, yra keletas praktinių patarimų. Pirma, pradėkite su kokybiškomis audio bylomis. Nors Stems veikia ir su 128kbps MP3, rezultatai bus kur kas geresni su 320kbps MP3 arba dar geriau – su lossless formatais kaip FLAC ar WAV. Kuo daugiau garso informacijos pradiniame faile, tuo geriau algoritmas gali atlikti savo darbą.

Antra, išmokite naudoti Stems subtiliai. Didžiausia klaida, kurią daro pradedantieji – per daug manipuliuoja sluoksniais ir rezultatas skamba chaotiškai. Geriausi DJ setai naudoja Stems funkciją kaip papildomą įrankį, o ne kaip pagrindinį triuką. Kartais pakanka tiesiog šiek tiek pakelti vokalo garsumą refrene arba sumažinti bosą perėjimo metu.

Trečia, eksperimentuokite su efektų kombinacijomis. Vienas iš galingiausių būdų naudoti Stems – pritaikyti skirtingus efektus skirtingiems sluoksniams vienu metu. Pavyzdžiui, galite turėti delay ant melodijos, reverb ant vokalo ir flanger ant būgnų – visi tuo pačiu metu. Tai sukuria daug turtingesnį ir įdomesnį garsą nei pritaikius efektą visai dainai.

Ketvirta, išsaugokite savo mėgstamus nustatymus. Traktor Pro 3 leidžia išsaugoti Stems balansą ir efektų nustatymus konkrečioms dainoms. Jei radote puikią kombinaciją, kuri veikia tam tikram perėjimui ar remixui, išsaugokite ją. Taip sutaupysite daug laiko ateityje ir galėsite sukurti nuoseklesnį, profesionalesnį skambantį setą.

Ateities perspektyvos ir konkurencija

Traktor Pro 3 nėra vienintelė programa, siūlanti garso atskyrimo technologiją. Serato DJ taip pat turi panašią funkciją, vadinamą „Stems”, o Virtual DJ jau seniai turi savo „Stems” implementaciją. Yra ir atskiros programos kaip iZotope RX ar Audionamix, kurios specializuojasi garso atskyrimo srityje ir siūlo dar detalesnes galimybes.

Bet kas įdomu – technologija nuolat tobulėja. Naujesni AI modeliai, tokie kaip Spleeter (kurį sukūrė Deezer) ar Demucs (iš Facebook AI Research), rodo dar geresnius rezultatus. Tikėtina, kad ateityje pamatysime ne keturis, o galbūt aštuonis ar net daugiau atskirų sluoksnių. Įsivaizduokite galimybę atskirti kiekvieną instrumentą atskirai – būgnus, bosą, gitarą, klavišinius, vokalą, backing vokalus ir t.t.

Taip pat tikėtina, kad garso kokybė ir toliau gerės. Dabartiniai algoritmai jau gana geri, bet vis dar pasitaiko artefaktų. Su naujesniais neuroniniais tinklais ir didesniu mokymo duomenų kiekiu, ateityje atskyrimas gali tapti beveik neatskiriamai geras nuo originalių atskirų takelių.

Dar viena įdomi kryptis – realaus laiko kolaboracija. Įsivaizduokite, kad du DJ’ai skirtingose pasaulio vietose galėtų kartu miksuoti tą pačią dainą, kiekvienas manipuliuodamas skirtingus sluoksnius. Arba live pasirodymai, kur vienas atlikėjas valdo ritmą, kitas – melodijas, trečias – vokalus. Technologija jau egzistuoja, belieka ją pritaikyti praktiškai.

Kai technologija tampa kūrybinio proceso dalimi

Grįžtant prie esmės – Stems technologija Traktor Pro 3 yra ne tik techninis pasiekimas, bet ir naujas kūrybinis įrankis. Ji keičia tai, kaip DJ’ai galvoja apie muzikos miksavimą ir perėjimus. Nebereikia priimti dainos tokios, kokia ji yra – dabar galite ją performuoti, pritaikyti prie savo stiliaus ir publikos poreikių.

Žinoma, kaip ir bet koks įrankis, Stems funkcija yra tik tiek gera, kiek geras ją naudojantis žmogus. Geriausi DJ’ai naudoja šią technologiją subtiliai ir muzikiniai, o ne kaip triuką dėl triuko. Svarbu suprasti muzikos struktūrą, harmoniją ir ritmą – technologija tik padeda įgyvendinti jūsų kūrybinę viziją.

Ar verta investuoti į Traktor Pro 3 dėl Stems funkcijos? Jei esate rimtas DJ’as, kuris nori išsiskirti ir turėti daugiau kūrybinės laisvės – tikrai taip. Jei tik pradėjote ir dar mokotės pagrindų – galbūt pradžiai pakaks paprastesnių įrankių. Bet žinokite, kad ši technologija egzistuoja ir laukia, kai būsite pasirengę ją išnaudoti. O kai būsite – jūsų setai niekada nebebus tokie patys.