انجمن سیستم های فازی ایران سیستم های فازی و کاربردها 2717-4409 6 1 2023 08 23 Coarse Tuning of Fuzzy Reinforcement Learning Architecture using Value Iteration Method تنظیم اولیه‌ی معماری یادگیری تقویتی فازی با استفاده از روش تکرار ارزش 109 126 171134 10.22034/jfsa.2023.383519.1159 FA فرزانه نادی دانشکده مهندسی کامپیوتر، دانشگاه یزد، یزد، ایران ولی درهمی دانشکده مهندسی کامپیوتر، دانشگاه یزد، یزد، ایران فریناز اعلمی‌یان هرندی دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی اصفهان، اصفهان، ایران Journal Article 2023 01 28 This research presents a new method of coarse-tuning the fuzzy reinforcement learning architecture using agent-environment interactive data. This method solves two main challenges the fuzzy reinforcement learning: the low-speed training process and determining the input membership functions of the fuzzy structure. First, the agent interacts with the environment to gather training data. Then, the transition probability matrix and the expected return matrix are calculated by applying a clustering algorithm due to the continuous space. Each cluster is a state of the environment, and an approximation of the transition probability from one cluster to another is calculated using the gathered data. Finally, the parameters of the fuzzy system are adjusted using the modified value iteration method of dynamic programming for the continuous space. The proposed method is fully described with an example. This method increases the learning speed and adjusts the input membership functions of the fuzzy system. این پژوهش روشی جدید در استفاده از داده‌های تعاملی عامل و محیط برای تنظیم اولیه‌ی معماری یادگیری تقویتی فازی ارائه می‌دهد. کندی سرعت آموزش و نحوه‌ی تعیین مقدار توابع عضویت ورودی دو چالش مهم در معماری یادگیری تقویتی فازی هستند. تنظیم اولیه‌ی پارامترهای سیستم با استفاده از داده‌های تعاملی می‌تواند راهکار مناسبی برای رفع چالش‌های اشاره شده باشد. در این پژوهش ابتدا با تعامل عامل با محیط و جمع‌آوری داده آموزشی، ماتریس احتمال انتقال حالت-عمل به حالت بعدی و امید پاداش آنی حالت-عمل به حالت بعدی محاسبه می‌شود. با توجه به پیوسته بودن فضای مورد بررسی، جهت تولید دو ماتریس مذکور از خوشه‌بندی استفاده می‌شود. هر خوشه یک حالت از محیط لحاظ شده و بدین صورت یک تقریب احتمال گذر از یک خوشه به خوشه‌ی دیگر با توجه به داده‌ها تعیین می‌شود. سپس پارامترهای سیستم فازی با تعمیم روش تکرار ارزشِ برنامه‌سازی پویا برای فضای پیوسته تنظیم می‌گردد. نحوه‌ی استفاده از روش پیشنهادی با یک مثال به طور کامل شرح داده شده است. استفاده از این روش می‌تواند منجر به افزایش سرعت یادگیری و کمک در تنظیم توابع عضویت ورودی سیستم فازی گردد. https://jfsa.fuzzy.ir/article_171134_6d5cb49edd3986dc0cd1b6e43abd9d40.pdf