Journal of Control
مجله کنترل
JoC
Engineering & Technology
http://joc.kntu.ac.ir
1
admin
2008-8345
2538-3752
10.52547/joc
fa
jalali
1397
3
1
gregorian
2018
6
1
12
2
online
1
fulltext
fa
حل زیربهینه بازی های گرافی دیفرانسیلی غیر خطی با استفاده از برنامه ریزی پویای تقریبی تک-شبکه
Suboptimal Solution of Nonlinear Graphical Games Using Single Network Approximate Dynamic Programming
تخصصي
Special
پژوهشي
Research paper
<p dir="RTL" style="text-align: justify;">در ایﻦ ﻣﻘﺎﻟﻪ یﮏ اﻟﮕﻮریﺘﻢ یﺎدﮔﯿﺮی ﺑﺮﺧﻂ ﺑﺮﻣﺒﻨﺎی ﺑﺮﻧﺎﻣﻪ ریﺰی ﭘﻮیﺎی ﺗﻘﺮیﺒﯽ ﺗﮏ-ﺷﺒﮑﻪ ﺑﺮای ﺣﻞ ﺗﻘﺮیﺒﯽ ﺑﺎزی ﻫﺎی ﮔﺮاﻓﯽ دیﻔﺮاﻧﺴﯿﻠﯽ زﻣﺎن ﭘﯿﻮﺳﺘﻪ ﻏﯿﺮﺧﻄﯽ ﺑﺎ ﺗﺎﺑﻊ ﻫﺰیﻨﻪ زﻣﺎن ﻧﺎﻣﺤﺪود و دیﻨﺎﻣﯿﮏ ﻣﻌﯿﻦ ﭘﯿﺸﻨﻬﺎد ﺷﺪه اﺳﺖ. در ﺑﺎزی ﻫﺎی ﮔﺮاﻓﯽ دیﻔﺮاﻧﺴﯿﻠﯽ، ﻫﺪف ﻋﺎﻣﻞ ﻫﺎ ردیﺎﺑﯽ ﺣﺎﻟﺖ رﻫﺒﺮ ﺑﻪ ﺻﻮرت ﺑﻬﯿﻨﻪ ﻣﯽ ﺑﺎﺷﺪ، ﺑﻪ ﻃﻮری ﮐﻪ دیﻨﺎﻣﯿﮏ ﺧﻄﺎ و اﻧﺪیﺲ ﻋﻤﻠﮑﺮد ﻫﺮ ﻋﺎﻣﻞ ﺑﺴﺘﮕﯽ ﺑﻪ ﺗﻮﭘﻮﻟﻮژی ﮔﺮاف ﺗﻌﺎﻣﻠﯽ ﺑﺎزی دارد. در اﻟﮕﻮریﺘﻢ ﭘﯿﺸﻨﻬﺎدی، ﻫﺮ ﻋﺎﻣﻞ ﺗﻨﻬﺎ از یﮏ ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﻧﻘﺎد ﺑﺮای ﺗﻘﺮیﺐ ارزش و ﺳﯿﺎﺳﺖ ﮐﻨﺘﺮﻟﯽ ﺑﻬﯿﻨﻪ ﺧﻮد اﺳﺘﻔﺎده ﻣﯽ ﮐﻨﺪ و از ﻗﻮاﻧﯿﻦ ﺗﻨﻈﯿﻢ وزن ﭘﯿﺸﻨﻬﺎد ﺷﺪه ﺑﺮای ﺑﻪ روزرﺳﺎﻧﯽ ﺑﺮﺧﻂ وزن ﻫﺎی ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﻧﻘﺎد ﺧﻮد ﺑﻬﺮه ﻣﯽ ﺟﻮیﺪ. در ایﻦ ﻣﻘﺎﻟﻪ، ﺑﺎ ﻣﻌﺮﻓﯽ ﺳﻮﺋﯿﭻ ﻫﺎی ﭘﺎیﺪار ﺳﺎز ﻣﺤﻠﯽ در ﻗﻮاﻧﯿﻦ ﺗﻨﻈﯿﻢ وزن ﻫﺎی ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﮐﻪ ﭘﺎیﺪاری ﺳﯿﺴﺘﻢ ﺣﻠﻘﻪ ﺑﺴﺘﻪ و ﻫﻤﮕﺮایﯽ ﺑﻪ ﺳﯿﺎﺳﺖ ﻫﺎی ﺗﻌﺎدل ﻧﺶ را ﺗﻀﻤﯿﻦ ﻣﯽ ﮐﻨﻨﺪ، دیﮕﺮ ﻧﯿﺎزی ﺑﻪ ﻣﺠﻤﻮﻋﻪ ﺳﯿﺎﺳﺖ ﻫﺎی ﮐﻨﺘﺮﻟﯽ ﭘﺎیﺪار ﺳﺎز اوﻟﯿﻪ وﺟﻮد ﻧﺪارد. ﺑﻌﻼوه در ایﻦ ﻣﻘﺎﻟﻪ از ﺗﺌﻮری ﻟﯿﺎﭘﺎﻧﻮف ﺑﺮای اﺛﺒﺎت ﭘﺎیﺪاری ﺳﯿﺴﺘﻢ ﺣﻠﻘﻪ ﺑﺴﺘﻪ اﺳﺘﻔﺎده ﻣﯽ ﺷﻮد. در ﭘﺎیﺎن، ﻣﺜﺎل ﺷﺒﯿﻪ ﺳﺎزی، ﻣﻮﺛﺮ ﺑﻮدن اﻟﮕﻮریﺘﻢ ﭘﯿﺸﻨﻬﺎدی را ﻧﺸﺎن ﻣﯽ دﻫﺪ</p>
<p style="text-align: justify;">In this paper, an online learning algorithm based on approximate dynamic programming is proposed to approximately solve the nonlinear continuous time differential graphical games with infinite horizon cost functions and known dynamics. In the proposed algorithm, every agent employs a critic neural network (NN) to approximate its optimal value and control policy and utilizes the proposed weight tuning laws to learn its critic NN optimal weights in an online fashion. Critic NN weight tuning laws containing a stabilizer switch guarantees the closed-loop system stability and the control policies convergence to the Nash equilibrium. In this algorithm, there is no requirement for any set of initial stabilizing control policies anymore. Furthermore, Lyapunov theory is employed to show uniform ultimate boundedness of the closedloop system. Finally, a simulation example is presented to illustrate the efficiency of the proposed algorithm. <br>
</p>
برنامه ریزی پویای تقریبی, شبکه های عصبی, کنترل بهینه, یادگیری تقویتی
Approximate Dynamic Programming, Neural Networks, Optimal Control, Reinforcement learning
13
25
http://joc.kntu.ac.ir/browse.php?a_code=A-10-502-1&slc_lang=fa&sid=1
Majid
Mazouchi
مجید
مازوچی
Mazouchi.Majid@stu.um.ac.ir
10031947532846005157
10031947532846005157
No
Ferdowsi University of Mashhad
دانشگاه فردوسی مشهد
Mohammad Bagher
Naghibi Sistani
محمد باقر
نقیبی سیستانی
Mb-naghibi@um.ac.ir
10031947532846005158
10031947532846005158
Yes
Ferdowsi University of Mashhad
دانشگاه فردوسی مشهد
Seyed Kamal
Hosseini Sani
سید کمال
حسینی ثانی
k.hosseini@um.ac.ir
10031947532846005159
10031947532846005159
No
Ferdowsi University of Mashhad
دانشگاه فردوسی مشهد