سیستم های فازی و کاربردها

سیستم های فازی و کاربردها

بررسی تأثیر انتخاب ابرپارامترها در پیش بینی سری زمانی با استفاده از شبکه‌های عصبی LSTM

نوع مقاله : مقاله پژوهشی

نویسندگان
گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه زابل، زابل، ایران
10.22034/jfsa.2025.483155.1248
چکیده
چکیده. یکی از مسائل مهم در حوزه داده‌کاوی پیش‌بینی سری‌های زمانی می‌باشد و در سال‌های اخیر توجه محققان زیادی را به خود جلب کرده است. معمولا داده‌های سری‌های زمانی مرتبط با زمان و دارای الگوهای خاصی می‌باشند که با دانستن این الگوها و استفاده از آنها امکان پیش‌بینی رویدادهای آینده فراهم می‌شود. یکی از رایج‌ترین شبکه‌های عصبی عمیق برای پیش‌بینی سری‌های زمانی شبکه عصبی حافظه طولانی کوتاه‌مدت (LSTM ) می‌باشد. شبکه LSTM یک شبکه عصبی بازگشتی است که می تواند اطلاعات پیچیده مرتبط با زمان را حفظ و الگوهای پیچیده در سری‌های زمانی را درک کند. یکی از چالش‌های مهم شبکه‌های عصبی در پیش‌بینی سری‌های زمانی تعیین مقدار درست ابرپارامترها می‌باشد که بر کارایی و عملکرد آنها تاثیر زیادی دارد. ابرپارامترهای مختلفی می‌تواند در نظرگرفته شود. ابرپارامترهایی که در این مقاله در نظر گرفته شده‌اند عبارتند از: تعداد نرون‌ها در لایه پنهان، پارامتر پراکندگی، پارامتر کاهش وزن در تابع هزینه و وزن جریمه پراکندگی. برای تنظیم مقدار صحیح ابرپارامترها به گونه‌ای که بیشترین دقت در مساله حاصل شود از روش بهینه‌سازی بیزی استفاده می‌شود. روش بهینه‌سازی بیزی با استفاده از تئوری احتمالات برای ابرپارامترها توزیع احتمالی تعیین می‌کند. به منظور ارزیابی عملکرد روش پیشنهادی از مجموعه داده‌های تصادفی استفاده شده است. روش پیشنهادی قابل اجرا و تعمیم به مجموعه داده‌های واقعی مثل داده‌های آب و هوا، محیط زیست و انرژی می‌باشد. نتایج به دست آمده کارایی و عملکرد مناسب روش پیشنهادی را نشان می‌دهد.
کلیدواژه‌ها

[1] ﻃﺎﻟﺒﯽ ﺧﺎرزﻧﯽ، م. و ﺑﻨﯽ ﻋﺎﻣﺮﯾﺎن، م. (1402)ﭘﯿﺶﺑﯿﻨﯽ ﺑﺎزار ﻓﺎرﮐﺲ ﺑﺎ اﺳﺘﻔﺎده از ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﺗﺮﮐﯿﺒﯽ و ﯾﺎدﮔﯿﺮی
اﻧﺘﻘﺎل. ﭘﻨﺠﻤﯿﻦ ﮐﻨﻔﺮاﻧﺲ ﻣﻠﯽ ﻣﺪﯾﺮﯾﺖ و ﺻﻨﻌﺖ ﮔﺮدﺷﮕﺮی، ﺗﻬﺮان. ﻗﺎﺑﻞ ﺑﺎزﯾﺎﺑﯽ از:
 
[2] ﻏﻔﺎری رزﯾﻦ، س.ر.، ﻫﻮﺷﻨﮕﯽ، ن. و وﺛﻮﻗﯽ، ب. (1402) ارزﯾﺎﺑﯽ ﮐﺎراﯾﯽ ﻣﺪل ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﺣﺎﻓﻈﻪ ﮐﻮﺗﺎهﻣﺪت ﻃﻮﻻﻧﯽ در ﭘﯿﺶﺑﯿﻨﯽ ﺳﺮی زﻣﺎﻧﯽ ﯾﻮﻧﻮﺳﻔﺮ و ﻣﻘﺎﯾﺴﻪ آن ﺑﺎ ﻣﺪلﻫﺎی GRNN، GIM و .NeQuick ﻓﺼﻠﻨﺎﻣﻪ ﻋﻠﻤﯽ–
ﭘﮋوﻫﺸﯽ اﻃﻼﻋﺎت ﺟﻐﺮاﻓﯿﺎﯾﯽ »ﺳﭙﻬﺮ«، ﺳﺎل ٢٣، ﺷﻤﺎره ۶٢١، ﺻﺺ ۵١١–٩٢١.
Doi: 10.22131/sepehr.2023.547749.2839
 
[3]ﻓﺮزاد، ع.، دﻫﻘﺎن ﻣﻨﺸﺎدی، ه. و دﺷﺘﯽ رﺣﻤﺖآﺑﺎدی، م. (1402) ﭘﯿﺶﺑﯿﻨﯽ ﻣﺴﺎﺋﻞ ﻣﺮﺑﻮط ﺑﻪ زﻣﺎنﺑﻨﺪی ﭘﺮوژهﻫﺎی
ﻋﻤﺮاﻧﯽ ﺑﺎ اﺳﺘﻔﺎده از ﺷﺒﮑﻪ ﻋﺼﺒﯽ LSTM )ﺣﺎﻓﻈﻪ ﻃﻮﻻﻧﯽ ﮐﻮﺗﺎهﻣﺪت.( ﻧﺸﺮﯾﻪ ﻣﻬﻨﺪﺳﯽ ﻋﻤﺮان اﻣﯿﺮﮐﺒﯿﺮ، ﺳﺎل ۵۵،
ﺷﻤﺎره ٩، ﺻﺺ ٣۵٧١–۴۶٧١.
Doi: 10.22060/ceej.2023.21383.7701
 
[4] ﯾﺮاﻗﯽ، م. و رﺑﯿﻌﯽ، ع. (1399) ﻣﺮور و ﻣﻘﺎﯾﺴﻪ اﻟﮕﻮرﯾﺘﻢﻫﺎی ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﺑﺎزﮔﺸﺘﯽ ﻋﻤﯿﻖ LSTM و GRU در
ﻣﺪلﺳﺎزی دادهﻫﺎی ﺳﺮی زﻣﺎﻧﯽ ﻧﺮخ ارز. در: ﻋﻠﻮم راﯾﺎﻧﺸﯽ، ﺻﺺ ٠۴–٠۵.
 
[5]    Abbasimehr, H., & Paki, R. (2021) Improving time series forecasting using LSTM and attention models. Journal of Ambient Intelligence and Humanized Computing, 13, 673–691. Available: https://api.semanticscholar.org/CorpusID:234311110
[6]    Abbasimehr, H., Shabani, M., & Yousefi, M. (2020) An optimized model using LSTM network for demand forecasting. Computers & Industrial Engineering, 143, 106435. https://doi.org/10. 1016/j.cie.2020.106435
[7]    Baek, Y., & Kim, H. Y. (2018) ModAugNet: A new forecasting framework for stock market index value with an overfitting prevention LSTM module and a prediction LSTM module. Expert Systems with  Applications,  113,  457–480.  https://doi.org/10.1016/j.eswa.2018.07.019
[8]    Eid, M. M., Khodadadi, N., & Mirjalili, S. (2022) Meta-heuristic optimization of LSTM-based deep network for boosting the prediction of monkeypox cases. [Online], pp. 1–20.
[9]    ElSaid, A., El Jamiy, F., Higgins, J., Wild, B., & Desell, T. (2018) Optimizing long short-term memory recurrent neural networks using ant colony optimization to predict turbine engine vibration. Ap- plied Soft Computing, 73, 969–991. https://doi.org/10.1016/j.asoc.2018.09.013
[10]    Ghanbari, N., Zahiri, H., & Shahraki, H. (2022) Clustering of fuzzy data sets based on particle swarm optimization with fuzzy cluster centers. International Journal of Industrial Engineering & Production Research, 33(2), 1–12.
[11]    Ghanbari, N., Zahiri, S. H., & Shahraki, H. (2024) Clustering of triangular fuzzy data based on heuristic methods. Journal of Electrical and Computer Engineering Innovations, 12(1), 1–14. https://doi.org/10.22061/jecei.2023.9641.645
[12]    Hajizadeh Tahan, M., Ghasemzadeh, M., & Rezaeian, M. (2021) An evolutionary attention-based deep long short term memory for time series prediction. Computational Intelligence and Electrical Engineering, 11(4), 15–28.
[13]    Hochreiter, S., & Schmidhuber, J. (1997) Long short-term memory. Neural Computation, 9(8), 1735–1780.    https://doi.org/10.1162/neco.1997.9.8.1735
[14]    Izadi, M. (2013) Forecasting inflation rate in Kermanshah province with LSTM neural network.
[15]    Karevan, Z., & Suykens, J. A. K. (2020) Transductive LSTM for time-series prediction: An ap- plication to weather forecasting. Neural Networks, 125, 1–9. https://doi.org/10.1016/j. neunet.2019.12.030
[16]    Ma, R., Zhu, X., & Yan, L. (2020) A hybrid approach for clustering uncertain time series. Journal of Computing and Information Technology, 28(4), 255–267. https://doi.org/10.20532/cit. 2020.1004802
[17]    Moghar, A. (2020) A LSTM recurrent stock market prediction using neural network. Procedia Com- puter Science, 170, 1168–1173. https://doi.org/10.1016/j.procs.2020.03.049
[18]    Sagheer, A., & Kotb, M. (2019) Time series forecasting of petroleum production using deep LSTM recurrent networks. Neurocomputing, 323, 203–213. https://doi.org/10.1016/j. neucom.2018.09.082
[19]    Science, N., Phenomena, C., Kumar, V., Chimmula, R., & Zhang, L. (2020) Time series forecasting of COVID-19 transmission in Canada using LSTM networks. Chaos, Solitons and Fractals, 135.
[20]    Surakhi, O., et al. (2021) Time-lag selection for time-series forecasting using neural network and heuristic algorithm. pp. 1–22.
دوره 8، شماره 1 - شماره پیاپی 16
بیانیه دسترسی آزاد
تیر 1404
صفحه 93-119

  • تاریخ دریافت 24 مهر 1403
  • تاریخ بازنگری 08 تیر 1404
  • تاریخ پذیرش 24 تیر 1404