Model-based reinforcement learning for integrated radar and communications systems

Modernit tutkat ja langattomat kommunikaatiojärjestelmät muistuttavat yhä enemmän toisiaan. Lisäksi jatkuvasti kasvava radiospektrin tarve kannustaa yhdistämään tutka- ja kommunikaatiotoiminnallisuudet samaan järjestelmään, jota kutsutaan integroiduksi tutka- ja kommunikaatiojärjestelmäksi (ISAC). Tämä integraatio asettaa uusia haasteita radioresurssien hallinnalle ja aaltomuotojen suunnittelulle, koska tutkan ja kommunikaatiojärjestelmän tehtävät voivat olla keskenään ristiriitaisia. Monikantoaaltomuodot sekä suuret antenniryhmät luovat lupaavan teknologisen pohjan ISAC-järjestelmille. Jotta järjestelmä pystyy reaaliaikaisestimukautumaan nopeasti muuttuviin radiokanaviin ja häiriölähteisiin, täytyy resurssienhallinnan ja aaltomuotojen optimoinnin olla riittävän laskentatehokkaita ja adaptiivisia. Tämä on erityisen haastavaa monikanto- ja moniantenni-ISAC-järjestelmissä, sillä vapausasteiden määrä on suuri. Aaltomuotojen optimointi- ja resurssienhallintaongelmia on perinteisesti ratkaistu käyttämällä strukturoituja optimointimenetelmiä. Kyseiset menetelmät eivät opi aiemmista kokemuksista ja ovat alttiita mallinnusvirheille. Tämän vuoksi tässä väitöskirjassa tutkitaan vahvistusoppimismenetelmien käyttöä resurssienhallinnassa ja aaltomuotojen optimoinnissa ISAC-järjestelmissä, joissa oppiminen perustuu reaaliaikaisesti kerättyyn dataan. Erityisesti tarkastellaan mallipohjaisia vahvistusoppimismenetelmiä, jotka toisin kuin täysin mallivapaat menetelmät, hyödyntävät rakenteellista tietoa ISAC-järjestelmistä parantaakseen datatehokkuutta ja menetelmien tulkittavuutta. Menetelmien pohjana on rajoitettu osittain havaittava Markov-päätösprosessi (CPOMDP), jonka avulla voidaan mallintaa aikariippuvaisia maalien ja radiokanavien tiloja, sekä niistä saatavia havaintoja. Lisäksi C-POMDP-malli mahdollistaa tutka- ja kommunikaatiotavoitteiden tasapainottamisen rajoiteyhtälöihin perustuvan muotoilun avulla. Mallipohjainen vahvistusoppiminen on hyvin tunnettu menetelmäperhe automaatio- ja robotiikkasovelluksissa, mutta sitä on sovellettu vain vähän ISAC-järjestelmissä. Erityisen haastavaa kyseisten menetelmien käytöstä ISAC-järjestelmissä tekee moniulotteiset päätösavaruudet ja monimutkaiset, osin tuntemattomat dynaamiset mallit. Tässä väitöskirjassa kehitetään käytännöllisiä reaaliaikaoppimiseen pohjautuvia menetelmiä ja säätöstrategioita, jotka onsuunniteltu ISAC-järjestelmille. Menetelmien suorituskykyä arvioidaan analyyttisesti, ja tulokset varmistetaan simulaatioilla. Lisäksi simulaatioita käytetään vertailemaan menetelmiä käytännöllisissä monikanto- ja moniantenni-ISAC-järjestelmien resurssienhallinta- ja aaltomuotojen optimointiongelmissa. Näissä ongelmissa resursseja ja niiden tehoja optimoidaan tyypillisesti taajuustasossa ja keila-avaruudessa, samalla kun toimitaan dynaamisissa maali- ja radioympäristöissä. Tämä väitöskirja osoittaa, että laskennallisesti tehokkaita mallipohjaisia vahvistusoppimisalgoritmeja voidaan kehittää ratkaisemaan resurssienhallinta- ja aaltomuotojen optimointiongelmia monikanto- ja moniantenni-ISAC-järjestelmissä. Esitetyt menetelmät parantavat datatehokkuutta ja tulkittavuutta verrattuna mallivapaisiin vahvistusoppimismenetelmiin. Lisäksi niiden kyky oppia reaaliajassa mahdollistaa ISAC-järjestelmien mukautumisen dynaamisissa radioympäristössä, mikä parantaa järjestelmien luotettavuutta ja suorituskykyä verrattuna perinteisiin strukturoituihin optimointi menetelmiin.