چارچوبی برای پیش‌بینی و مدل‌سازی قیمت‌های بورس بر اساس الگوریتم‌های یادگیری عمیق

کرسی بانک سرمایه گذاری عربستان سعودی برای مطالعات آگاهی از سرمایه گذاری، ریاست تحقیقات علمی، معاونت تحصیلات تکمیلی و تحقیقات علمی، دانشگاه ملک عبدالعزیز، جده 21589، عربستان سعودی

دریافت: 15 سپتامبر 2022 / تجدید نظر: 27 سپتامبر 2022 / پذیرش: 27 سپتامبر 2022 / انتشار: 30 سپتامبر 2022

چارچوب

ایجاد مدلهای قابل اعتماد از بازار سهام ، سرمایه گذاران را قادر می سازد تا انتخاب های آگاهانه ای را انجام دهند. یک مدل معاملاتی ممکن است خطرات مربوط به سرمایه گذاری را کاهش دهد و این امکان را برای معامله گران فراهم کند که شرکت هایی را انتخاب کنند که بالاترین سود سهام را ارائه دهند. با این حال ، با توجه به درجه بالای همبستگی بین قیمت سهام ، تجزیه و تحلیل بازار سهام با رویکردهای پردازش دسته ای دشوارتر می شود. پیش بینی بازار سهام با ظهور شگفتی های فناوری مانند دیجیتالی شدن جهانی ، وارد دوره ای پیشرفته فنی شده است. به همین دلیل ، مدلهای هوش مصنوعی به دلیل افزایش مداوم سرمایه در بازار بسیار مهم شده اند. جدید بودن مطالعه پیشنهادی ، توسعه مدل سری زمانی استحکام مبتنی بر تکیه عمیق برای پیش بینی ارزشهای آینده بازاریابی سهام است. هدف اصلی این مطالعه ایجاد یک چارچوب هوشمند با توانایی پیش بینی جهت حرکت قیمت بازار سهام بر اساس سری زمانی مالی به عنوان ورودی بود. در میان فن آوری های برجسته ، هوش مصنوعی به ستون فقرات بسیاری از مدلهای مختلف تبدیل شده است که جهت بازارها را پیش بینی می کند. به ویژه ، استراتژی های یادگیری عمیق در پیش بینی رفتار بازار مؤثر بوده اند. در این مقاله ، ما یک چارچوب را بر اساس حافظه کوتاه مدت بلند مدت (LSTM) و ترکیبی از یک شبکه عصبی حلقوی (CNN-LSTM) با LSTM پیشنهاد می کنیم تا قیمت های پایانی Tesla ، Inc. و Apple ، Inc را پیش بینی کنیم. با استفاده از داده های جمع آوری شده طی دو سال گذشته ساخته شد. میانگین خطای مربع (MSE) ، میانگین خطای مربع ریشه (RMSE) ، عادی سازی میانگین خطای مربع (NRMSE) و اقدامات همبستگی پیرسون (R) در محاسبه یافته های مدل های پیش بینی سهام عمیق یادگیری استفاده شد. بین دو مدل یادگیری عمیق ، مدل CNN-LSTM کمی بهتر به ثمر رساند (تسلا: r-squared = 98. 37 ٪ ؛ اپل: r-squared = 99. 48 ٪). مدل CNN-LSTM عملکرد برتر را در مقایسه با LSTM یادگیری عمیق و سیستم های موجود در پیش بینی قیمت بازار سهام نشان داد.

1. مقدمه

وقتی ملل به منظور حفظ سطح کافی از هزینه های عمومی ، می توان کیفیت بالایی از زندگی را بدست آورد. در اقتصاد پر سرعت امروز ، مشاغل بزرگ برای استفاده از فرصت های دست نخورده و سازگاری با شار مداوم بازار بین المللی بهار می شوند [1،2]. بازار سهام بازاریابی است که دارایی های متنوعی توسط سرمایه گذاران شرکت کننده در بورس سهام دولتی ، خصوصی و مالکیت مختلط خریداری و فروخته می شود [3]. سهام شرکتهای معامله شده عمومی در بورس اوراق بهادار معامله می شود ، در حالی که سهام شرکت های خصوصی در بورس خصوصی معامله می شود. بورس اوراق بهادار مختلط در مشاغل دارای سهام مشترک سرمایه گذاری می شود که فقط در شرایط محدود می توانند در بورس عمومی معامله شوند. مبادلات سهام مالکیت مختلط در کشورهایی مانند انگلستان (بورس اوراق بهادار لندن) و ایالات متحده (بورس اوراق بهادار نیویورک) تأسیس شده است [4،5،6،7،8،9].

سرمایه گذاران از زمان تأسیس بازارهای سرمایه سهام در تلاشند تا نوسانات در قیمت سهام را پیش بینی کنند. با این حال ، در آن زمان ، میزان داده های قابل دسترسی به آنها محدود بود و روش های پردازش این داده ها نسبتاً ساده بودند. از آن زمان ، میزان داده های در دسترس سرمایه گذاران به میزان قابل توجهی افزایش یافته است و روش های جدید پردازش این داده ها نیز در دسترس قرار گرفته است. حتی با وجود تمام پیشرفت های اخیر در زمینه فناوری و الگوریتم های معاملاتی برجسته ، هنوز هم برای اکثر دانشگاهیان و سرمایه گذاران برای پیش بینی دقیق حرکات قیمت سهام یک چالش بسیار دشوار است. مدلهای سنتی ، که چندین دهه در آن مورد استفاده قرار گرفته اند و به طور معمول مبتنی بر تجزیه و تحلیل اساسی ، تجزیه و تحلیل فنی و روشهای آماری (مانند رگرسیون در [10]) هستند ، غالباً قادر به انعکاس کامل پیچیدگی مسئله ای نیستند که در حال حاضر مورد بررسی قرار می گیرندواد

بازار سهام به عنوان ستون فقرات هر اقتصاد عمل می کند و اهداف اولیه هر سرمایه گذاری در بازار سهام کسب بازدهی بالا و کاهش زیان به حداقل است [4]. بنابراین، کشورها باید برای تقویت بازارهای سهام خود تلاش کنند، زیرا انجام این کار با رشد اقتصادی همراه است [11]. از آنجایی که بازار سهام منبع بالقوه ای برای بازگشت سریع سرمایه گذاری است، پیش بینی های سودآور بازار سهام وسیله ای مناسب برای استقلال مالی است. پیش‌بینی بازار سهام خطی نیست، که پیش‌بینی قیمت سهام یک شرکت خاص در یک بازار خاص را دشوارتر می‌کند [12]. در نتیجه، محققان و سرمایه گذاران ملزم به شناسایی روش هایی هستند که پتانسیل آن را دارند که به نتایج دقیق تر و درآمدهای بیشتر منجر شوند [13]. مدل‌های یادگیری ماشینی که برای مدتی وجود داشته‌اند، مانند میانگین متحرک یکپارچه اتورگرسیو (ARIMA)، نسبت به مدل‌های یادگیری ماشین سنتی‌تر پایین‌تر هستند [14]. علاوه بر این، تحقیقات نشان می‌دهد که مدل‌های یادگیری عمیق مانند حافظه کوتاه‌مدت بلند مدت (LSTM) از مدل‌های یادگیری ماشینی مانند رگرسیون بردار پشتیبانی (SVR) بهتر عمل می‌کنند [15]. نشان داده شد که شبکه‌های عصبی مصنوعی (ANN) مدل یادگیری عمیق برتر نسبت به ماشین‌های بردار پشتیبان هستند [16].

پیشرفت‌های ایجاد شده در یادگیری ماشینی و یادگیری عمیق فرصت‌های جدیدی را برای ساخت مدل‌های پیش‌بینی حرکت قیمت سهام بر اساس داده‌های سری زمانی که با کاردینالیتی بالا مشخص می‌شوند، مانند داده‌های شی بزرگ (LOB) ایجاد کرده است. این مدل ها برای پیش بینی چگونگی تغییر قیمت سهام در آینده استفاده می شوند. به عنوان یک نتیجه مستقیم، این زمینه خاص در طول چندین سال گذشته توجه روزافزونی از سوی محققان را به خود جلب کرده است. عملکرد مدل های توصیه شده از نظر پیش بینی معمولاً بسیار بالا گزارش شده است. نویسندگان چندین مدل پیشرفته یادگیری ماشین و یادگیری عمیق (به عنوان مثال، [17،18]) ادعا کرده اند که این مدل ها دارای دقت بیش از 80٪ هستند. از نقطه نظر عملگرایانه تر، این نتایج خیلی خوب به نظر می رسند که در واقع در هنگام انجام معاملات سهام در دنیای واقعی قابل تکرار باشند.

با این وجود این نکته را در نظر داشته باشید که بورس سهام یک بستر معاملاتی است که در نهایت توسط نیروهای عرضه و تقاضا کنترل می شود. در این مقاله ، مدل های یادگیری عمیق برای پیش بینی شاخص های حرکت ، قدرت و نوسانات به منظور کمک به سرمایه گذاران در قضاوت هایی که باعث می شود صحت و ایمنی در برابر نوسانات سریع در جهت های مخالف با یک معامله ایجاد شود ، تهیه شده است. برای یافتن استراتژی که برای پیش بینی نوسانات قیمت آینده دقیق ترین است ، ما یک تحقیق جامع انجام دادیم.

2. پیشینه مطالعه

پیش بینی مقادیر مبادلات ارزی و بورس سهام در سالهای اخیر تعداد زیادی از مطالعات [19،20،21،22،23] بوده است. در [24] ، یک معماری شبکه مخالف تولید کننده شرح داده شده است ، و LSTM برای استفاده به عنوان ژنراتور توصیه می شود. به عنوان یک تبعیض آمیز برای طرح ، Perceptron چند لایه (MLP) پیشنهاد شد. از معیارهای متعدد برای مقایسه بین GAN ، LSTM ، ANNS و SVR استفاده شده است. در سراسر هیئت مدیره ، مدل شبکه طرفداری مولد (GAN) پیشنهاد شده مؤثرترین است. استفاده از داده های بزرگ امکان نوآوری سریعتر و با راندمان بیشتر را فراهم می کند. نمونه هایی از نوآوری های مالی که به توسعه بخش مالی کمک کرده است و گسترش اقتصاد شامل صندوق های مبادله ای ، سرمایه گذاری و صندوق های سهام است [25،26،27،28،29،30].

به دلیل این مسئله ، نیاز به سیستم های هوشمند وجود دارد که می توانند اطلاعات مربوط به قیمت گذاری در زمان واقعی را بازیابی کنند ، که می تواند توانایی سرمایه گذاران را برای به حداکثر رساندن سود آنها بهبود بخشد [28]. پشتیبانی تصمیم گیری ، تخصص مدل سازی و اتوماسیون کارهای پیچیده همه از توسعه سیستم های هوشمند و تکنیک های هوش مصنوعی در سالهای اخیر بهره مند شده اند. برخی از نمونه ها شامل شبکه های عصبی مصنوعی (ANNS) ، الگوریتم های ژنتیکی ، دستگاه های بردار پشتیبانی ، یادگیری ماشین ، شبکه های اعتقاد احتمالی و منطق فازی است [31،32]. در بین این روش ها ، ANN ها بیشترین استفاده در زمینه های مختلف هستند. ANN ها قادر به ارزیابی روابط غیر خطی پیچیده بین فاکتورهای ورودی و متغیرهای خروجی هستند زیرا مستقیماً از داده های آموزش یاد می گیرند. این دلیل اصلی این توانایی است. محققانی که در مورد استفاده از ANN ها برای انواع سیستم های پشتیبانی تصمیم گیری تحقیق می کنند ، دریافتند که یکی از جذاب ترین جنبه های ANN ، ظرفیت آنها برای خدمت به عنوان مدل برای طیف گسترده ای از سیستم های دنیای واقعی است. با این حال ، علیرغم محبوبیت روزافزون برای استفاده از ANN ها ، تاکنون فقط موفقیت محدودی حاصل شده است. این بیشتر به دلیل رفتار غیرقابل پیش بینی و پیچیدگی بازار سهام است [33]. چندین محقق در مورد استفاده از هوش مصنوعی برای پیش بینی قیمت سهام بررسی کرده اند. به عنوان مثال ، ما تقریباً 100 مطالعه را مورد بررسی و بررسی قرار دادیم که بر تکنیک های عصبی و عصبی فازی متمرکز شده اند که برای پیش بینی بازارهای سهام استفاده شده اند. ما یک بررسی تحقیقاتی مقایسه ای از سه تکنیک هوش مصنوعی محبوب - سیستمهای Expert ، ANN ها و سیستم های هوشمند ترکیبی - انجام دادیم که در امور مالی استفاده شد. و آنها به روش روشهای پیش بینی بازار سهام را مورد تجزیه و تحلیل و بررسی قرار دادند [34،35].

مشخص شد که LSTM به مراتب بهتر از مدل های دیگر عمل می کند، زیرا امتیاز 0. 0151 را به دست آورد، در حالی که LR با امتیاز 13. 872 در رتبه دوم قرار گرفت و SVR با امتیاز 34. 623 ضعیف عمل کرد [36،37]. هر دو مدل همبستگی و علی بر اساس نظریه گراف پیشنهاد شدند. یافته‌ها نشان داد که مدل‌های مبتنی بر نمودار نسبت به رویکردهای مرسوم برتری دارند، با یک مدل مبتنی بر علیت نسبت به مدل مبتنی بر همبستگی به نتایج بهتری دست می‌یابد. مدل‌های شبکه عصبی بازگشتی (RNN)، LSTM و واحد بازگشتی دروازه‌ای (GRU) در اساسی‌ترین شکل‌های خود در [38] ارائه شده‌اند. مدل GRU بهترین عملکرد را با دقت 0. 670 و از دست دادن لگ 0. 629 داشت. به دنبال آن مدل LSTM که با دقت 0. 665 و لگ اتلاف 0. 629 و مدل RNN با دقت 0. 625 و لگ اتلاف 0. 725 عمل کرد، دنبال شد. با این وجود، هنگامی که هر دو LSTM و GRU با افزودن یک لایه حذفی اصلاح شدند، مدل GRU هیچ پیشرفتی را نشان نداد در حالی که مدل LSTM بهبود جزئی در عملکرد خود نشان داد.

مدل LSTM، که یک معماری RNN است که در پردازش زبان طبیعی استفاده می‌شود، در [39] برای پیش‌بینی ارزش سهام NIFTY 50 پیشنهاد شد. یافته‌ها نشان داد که عملکرد مدل با افزودن پارامترها و دوره‌های جدید بهبود می‌یابد و مقدار ریشه میانگین مربعات خطای مدل (RMSE) زمانی که با 500 تکرار با استفاده از مجموعه‌های پارامترهای زیاد، کم، باز و بسته اجرا شد 0. 00859 بود. چهار نوع مختلف از مدل‌های یادگیری عمیق در [40] استفاده شد، و آن مدل‌ها پرسپترون چندلایه (MLP)، شبکه عصبی بازگشتی (RNN)، CNN و LSTM بودند. هر یک از این مدل ها با استفاده از داده های ارائه شده توسط تاتا موتورز آموزش داده شدند. پس از مقداردهی اولیه و آموزش، مدل ها با درخواست برای پیش بینی ارزش سهام آتی مورد آزمایش قرار گرفتند. مدل ها قادر به تشخیص الگوهای حرکت سهام، حتی در سایر بازارهای سهام بودند که امکان دستیابی به نتایج خوب را فراهم می کرد. نشان داده شد که CNN بهتر از سه مدل دیگر است، علیرغم این واقعیت که این نشان می دهد که مدل های یادگیری عمیق قادر به کشف پویایی های اساسی هستند. مدل ARIMA نیز بخشی از آن تحقیق بود، اما قادر به درک پویایی های اساسی که بین سری های زمانی مختلف رخ می دهد، نبود.

نویسندگان [41] پیش بینی های خود را در مورد بازار سهام با استفاده از CNN انجام دادند که نوعی یادگیری عمیق است. علاوه بر این ، از الگوریتم ژنتیکی (GA) برای بهبود سیستماتیک پارامترهای تکنیک CNN استفاده شد. این یافته ها نشان داد که GA-CNN ، که یک رویکرد ترکیبی است که GA و CNN را با هم ترکیب می کند ، از مدل های مقایسه بهتر است. این با این واقعیت نشان داده شد که GA-CNN از مدل های مقایسه بهتر عمل می کند. شبکه های عصبی حلقوی توسط سیم و همکاران ارائه شد.[42] به عنوان روشی برای پیش بینی مقادیر بازار (CNN). هدف اصلی این تحقیق تقویت عملکرد CNN ها در هنگام استفاده از داده های مربوط به بازارهای سهام بود. ون و همکاران.[43] با استفاده از الگوریتم CNN بر روی داده های زمانی پر سر و صدا بر اساس الگوهای مشترک ، یک رویکرد تازه گرفت. این یک روش انقلابی بود. این یافته ها شواهد قطعی را ارائه می دهد که این تکنیک مؤثر است ، و در مقایسه با روشهای سنتی پردازش سیگنال ، 4-7 ٪ در دقت را نشان می دهد.

شبکه های عصبی حلقوی (CNN) و شبکه های عصبی مکرر در مطالعه توسط Rekha و همکاران استفاده شد.[44] برای تجزیه و تحلیل و ارزیابی عملکرد دو روش مختلف هنگام استفاده از داده های موجود در بورس (RNN). لی و همکاران.[45] از داده های بسیاری از کشورها به منظور آموزش و آزمایش مدل خود به منظور پیش بینی در مورد بازار جهانی سهام با استفاده از CNN استفاده کرد. Baldo ، A. ، Cuzzocrea و همکاران.[46] از مدل RNN برای پیش بینی بازاریابی مالی استفاده کرد.

علاوه بر این ، ادبیات در مورد استفاده از هوش مصنوعی و تکنیک های محاسبات نرم برای پیش بینی بازار سهام هنوز یک مدل پیش بینی دقیق تهیه نشده است. با این حال ، نقطه ضعف این مطالعات ، در مرحله اول ، این است که پیش پردازش داده های ورودی تاکنون با دقت در ادبیات موجود انجام نشده است. ثانیا ، ادبیات موجود ، در بهترین حالت ، تا حدی در بهینه سازی انتخاب پارامتر و معماری های مدل موفق است. ثالثاً ، آنها از مدل قبل از آموزش برای پیش بینی مقادیر استفاده کردند ، اما آینده پیش بینی برای کمک به سرمایه گذاران استفاده نشده است. در حالی که مزیت سیستم پیشنهادی خطاهای پیش بینی کمتری به دست آمده است ، از پیش پردازش برای تقویت عملکرد مدلهای پیش بینی پیشنهادی استفاده شده است.

3. مواد و روشها

برای اهداف پیش بینی مقادیر آینده سهام تسلا و اپل ، ما از یک رویکرد یادگیری عمیق که در بالای مدلهای LSTM و CNN لایه بندی شده است استفاده کردیم. چارچوب مدل یادگیری عمیق برای پیش بینی ارزش بازار سهام در شکل 1 ارائه شده است.

3. 1مجموعه داده

3. 1. 1. داده های Tesla ، Inc.

Tesla ، Inc. یک شرکت آمریکایی است که در وسایل نقلیه برقی و انرژی پایدار تخصص دارد و دفتر مرکزی خود را در پالو آلتو ، کالیفرنیا ، ایالات متحده آمریکا دارد. کالاها و خدمات فعلی ارائه شده توسط تسلا شامل اتومبیل های برقی ، ذخیره انرژی باتری در مقیاس اعم از خانه تا شبکه ، پانل های خورشیدی ، کاشی های سقف خورشیدی و سایر محصولات و خدمات مرتبط با این صنعت است. این مجموعه داده اطلاعات تاریخی را در مورد سهام شرکت Tesla Inc (TSLA) ارائه می دهد. به طور روزانه می توان به این اطلاعات دسترسی پیدا کرد. USD به عنوان ارز استفاده می شود. این مجموعه داده برای دوره 4 اوت 2014 تا 17 اوت 2017 جمع آوری شد.

3. 1. 2. داده های اپل ، شرکت

Apple ، Inc. یک شرکت فناوری جهانی است که طیف وسیعی از محصولات الکترونیکی از جمله تلفن های هوشمند ، رایانه های شخصی ، تبلت ها ، پوشیدنی ها و لوازم جانبی را توسعه داده ، تولید و ترویج می کند. سهام این شرکت در بورس اوراق بهادار نیویورک تحت کد Ticker AAPL معامله می شود. آیفون ، سری رایانه های شخصی و لپ تاپ های شخصی ، iPad ، Apple Watch و Apple TV برخی از مشهورترین و موفق ترین خطوط تولید این شرکت هستند. سرویس ICLOUD Cloud Service و خدمات محتوای دیجیتالی اپل ، مانند Apple Music و Apple TV+، دو نمونه از صنعت خدمات به سرعت در حال گسترش این شرکت هستند که همچنین منابع درآمد دیگر شرکت را نیز در بر می گیرد. این مجموعه داده ها اطلاعات تاریخی را در مورد سهام Apple ، Inc ارائه می دهد. به طور روزانه می توان به اطلاعات دسترسی پیدا کرد. USD به عنوان ارز استفاده می شود. درمجموع ، 70 ٪ از مجموعه داده ها به عنوان مجموعه آموزش مورد استفاده قرار می گرفت در حالی که 30 ٪ باقیمانده به عنوان مجموعه آزمایشی کنار گذاشته شد و به هیچ وجه به مدل ارائه نشده است. علاوه بر مجموعه آزمون ، ما 30 ٪ از مجموعه داده های آموزشی را به عنوان تقسیم اعتبار سنجی در حالی که مدل آموزش داده شده بود ، کنار گذاشتیم. این امر این مدل را قادر می سازد وزنه ها را به روشی تنظیم کند که در مورد دنیای واقعی کاربرد بیشتری داشته باشد و از جلوگیری از بیش از حد آن در دوره آموزش 3 ژانویه 2010 تا 28 فوریه 2020 جلوگیری کند.

3. 2عادی سازی داده ها

عادی سازی یک روش مفید برای مقیاس بندی داده ها است به گونه ای که در هنگام استفاده از داده های مورد استفاده ، در یک بازه خاص قرار می گیرند. عادی سازی سرعت و دقت نزول شیب را بهبود می بخشد. عادی سازی حداقل max معمولاً با استفاده از یک تبدیل خطی به داده های اولیه ، برای مقیاس بندی داده ها بین دامنه های خاص استفاده می شود. کمترین و بالاترین مقادیر یک ویژگی به ترتیب توسط نمادهای x m i n و x m a x مشخص می شود. مقدار x با استفاده از محاسبات به یک مقدار در محدوده [x m i n و m a x x] نقشه برداری می شود تا تفاوت بین دو مقدار را تعیین کند. شکل 2 عادی سازی داده های تسلا (میانگین = 0. 3904) و سیب (میانگین = 0. 2856) را نشان می دهد:

جایی که x_حداکثرو x_حداقلمتغیرها به ترتیب بالاترین و کمترین مقادیر ممکن را نشان می دهند. کمترین تعداد توسط نماد n e w m i n x مشخص شده است ، در حالی که بیشترین تعداد به صورت n e w m a x x نوشته شده است.

3. 3مدل های پیش بینی

3. 3. 1. شبکه های عصبی Convolutional (CNN)

لکون و همکاران.[47] برای اولین بار مفهوم CNN ها را در مقاله خود در سال 1995 ارائه داد. هدف اصلی CNN انجام استخراج ویژگی برای ضبط توپولوژی است. برای دستیابی به این هدف ، از فیلترها در گروههای داده های ورودی استفاده می شود. CNN ها به لطف توانایی آنها در ضبط هر دو ورودی متوالی و مکانی ، در طیف گسترده ای از دامنه ها ، مانند پردازش تصویر ، تشخیص گفتار و تجزیه و تحلیل سری زمانی ، استفاده کرده اند. لایه های یک شبکه عصبی Convolutional (CNN) به شرح زیر است: ورودی ، همبستگی ، جمع آوری و خروجی.

نقاط داده در یک محله در معرض فیلترهای مختلف قرار می گیرند زیرا توسط یک لایه حلقوی پردازش می شوند. لایه موفق نتیجه عملیات حلقوی را پس از پردازش دریافت می کند. ماتریس خروجی ماتریسی است که با ضرب ماتریس ورودی توسط فیلتر تولید می شود ، که خود یک ماتریس است. ویژگی های اصلی فیلتر وزن و شکل آن است. وزن توسط مدل در حالی که آموزش دیده است به دست می آید و شکل نشان دهنده میزان فضای تحت پوشش فیلتر است. شکل 3 بازنمایی بصری از نمونه ای از تکنیک Convolution را ارائه می دهد.

داده ها با استفاده از لایه ادغام به عنوان مرحله میانی نمونه برداری می شوند. ابعاد ممکن است با استفاده از ادغام کاهش یابد که به نوبه خود منجر به کاهش هزینه های محاسبه می شود. پس از اینکه لایه کانولوشن داده‌ها را تولید کرد، داده‌ها با ادغام جمع‌آوری می‌شوند، که سپس داده‌ها را مطابق با نوع ادغام انتخاب شده به خروجی می‌دهد. ویژگی های جمع آوری شده از CNN به لایه هایی که متراکم هستند یا کاملاً به هم مرتبط هستند اختصاص داده می شود. معادله زیر رابطه بین ورودی و خروجی یک پرسپترون در یک پرسپترون چند لایه (MLP) را توصیف می کند:

جایی که O j به خروجی پرسپترون j ام در یک شبکه عصبی اشاره دارد و f به یک تابع فعال سازی اشاره دارد. تابع فعال سازی ورودی خود را از لایه زیر خود می گیرد که به صورت مجموع ورودی های لایه زیر آن ضرب در وزن W مربوط به آن لایه محاسبه می شود.

لایه کاملاً متصل لایه ای در یک شبکه عصبی معمولی است که هر نورون در شبکه را به هر نورون دیگر در شبکه متصل می کند. در اینجا نشان داده شده است که هر یک از گره‌ها در آخرین فریم لایه کاملاً متصل - خواه کانولوشنال، ReLU، یا ادغام - به عنوان یک بردار به لایه اولیه مرتبط هستند. اینها پارامترهای CNN هستند که بیشتر در این لایه ها مورد استفاده قرار می گیرند و آموزش آنها به تلاش قابل توجهی نیاز دارد.

3. 3. 2. LSTM

مدل LSTM که مبتنی بر RNN است، در موقعیت‌هایی استفاده می‌شود که در آن وابستگی‌های بلندمدت نقش اساسی در فرآیند یادگیری دارند. حافظه کوتاه مدت بلند مدت (LSTM) با افزودن گیت های فراموش شده در بالای دو گیت اصلی (دریچه های ورودی و خروجی) به دست می آید و به LSTM اجازه می دهد تا اطلاعات مربوط به وابستگی ها را برای مدت زمان قابل توجهی حفظ کند. دروازه‌های فراموش‌شده به مدل یاد می‌دهند که چه زمانی فراموش شود.[42]. این یک مزیت کلیدی استفاده از LSTM است. عملکرد سلول LSTM در شکل 4 نشان داده شده است. سلول ها، یک دروازه ورودی، یک دروازه خروجی و یک دروازه فراموشی اجزای اساسی هستند که یک واحد LSTM را تشکیل می دهند. هیچ محدودیتی برای مقدار مقادیری که ممکن است در حافظه سلول ذخیره شود وجود ندارد و سه دروازه وجود دارد که نحوه ورود و خروج اطلاعات از ساختار را تنظیم می کند. LSTM به ویژه در تشخیص الگوهایی در سری‌های زمانی که مدت زمان آنها ناشناخته است و پیش‌بینی‌هایی درباره چنین سری‌های زمانی ایجاد می‌کند، مؤثر است [48،49،50].