Skatinamojo mokymosi algoritmų integracija su imitaciniais kelių eismo modeliais, pasitelkiant geografinius duomenis
Adomaitis, Vaidotas |
Efektyvus kelių eismo valdymas tampa vis aktualesne problema augant transporto srautams miestuose. Tradiciniai šviesoforų valdymo algoritmai, tokie kaip Webster ar maksimalaus spaudimo metodai, ne visuomet geba pakankamai efektyviai reaguoti į kintančias eismo sąlygas realiuoju laiku. Šiame darbe nagrinėjamas skatinamojo mokymosi algoritmų taikymas mikroskopiniuose kelių eismo modeliuose, pasitelkiant geografinius duomenis, siekiant optimizuoti šviesoforų valdymą. Darbe lyginamas sustiprinto mokymosi algoritmų, tokių kaip DQN, DDPG bei naujai integruoto Muesli modelio, veikimas su tradiciniais metodais SUMO simuliacijų aplinkoje. Eksperimentuose naudojami realūs geografinių informacinių sistemų duomenys leidžia kurti tikroviškus imitacinius modelius ir vertinti įvairių šviesoforų valdymo strategijų efektyvumą. Tyrimo rezultatai padeda įvertinti skirtingų metodų pritaikomumą bei efektyvumą dinamiškai kintančiomis eismo sąlygomis. Baigiamojo darbo tikslas – ištirti ir palyginti skatinamojo mokymosi algoritmų taikymo galimybes mikroskopiniuose kelių eismo modeliuose, naudojant geografinius duomenis šviesoforų valdymo optimizavimui. Darbe analizuojami tradiciniai šviesoforų valdymo metodai, tokie kaip Webster ir maksimalaus spaudimo algoritmai, ir lyginami su pažangiais dirbtinio intelekto metodais – DQN, DDPG bei į „sumolights“ sistemą integruotu Muesli algoritmu. Modeliavimui naudojama SUMO platforma, o eismo scenarijai generuojami remiantis realiais GIS duomenimis, leidžiančiais sukurti tikroviškus imitacinius modelius. Eksperimentinėje dalyje įvertintas įvairių tradicinių ir skatinamojo mokymosi metodų veikimas valdant šviesoforų fazes SUMO simuliacijoje, grįstoje realiais geografiniais duomenimis. Nors tokie metodai kaip Max-Pressure ir Webster pasirodė stabiliai ir efektyviai, giluminio mokymosi algoritmų – DQN, DDPG ir Muesli – rezultatai buvo nepastovūs, o jų našumas stipriai priklausė nuo treniravimo kokybės. Muesli algoritmo integracija į „sumolights“ sistemą parodė metodinę naujovę, tačiau praktinis jo pritaikomumas ribotas be papildomų optimizavimo ir apsaugos priemonių.
Efficient road traffic management is becoming an increasingly relevant issue due to growing urban traffic volumes. Traditional traffic signal control algorithms, such as the Webster method or max-pressure control, do not always respond effectively enough to changing real-time traffic conditions. This thesis explores the application of reinforcement learning algorithms in microscopic road traffic models, using geographic data to optimize traffic signal control. The study compares the performance of reinforcement learning algorithms—such as DQN, DDPG, and the newly integrated Muesli model—with traditional methods within the SUMO simulation environment. Experiments utilize real geographic information system (GIS) data to create realistic simulation models and evaluate the effectiveness of different traffic signal control strategies. The results help assess the applicability and efficiency of various methods under dynamically changing traffic conditions. The objective of this thesis is to investigate and compare the applicability of reinforcement learning algorithms in microscopic road traffic models using geographic data for traffic signal optimization. The thesis analyzes traditional traffic light control methods such as Webster's and max-pressure algorithms, and compares them with advanced artificial intelligence approaches—DQN, DDPG, and the newly integrated Muesli algorithm within the “sumolights” framework. The SUMO platform is used for traffic simulation, and the traffic scenarios are generated based on real GIS data, allowing the creation of realistic simulation environments. The experimental part evaluated the performance of various traditional and reinforcement learning methods for traffic signal control within a SUMO simulation based on real geographic data. While traditional approaches such as Max-Pressure and Webster demonstrated stable and effective results, deep reinforcement learning algorithms – DQN, DDPG, and Muesli – showed inconsistent performance, heavily dependent on training quality. The integration of the Muesli algorithm into the open-source “sumolights” framework introduced methodological novelty, but its practical applicability remains limited without further optimization and safety mechanisms.