IMPROVING PARAMETERS OF V-SUPPORT VECTOR REGRESSION WITH FEATURE SELECTION IN PARALLEL BY USING QUASI-OPPOSITIONAL AND HARRIS HAWKS OPTIMIZATION ALGORITHM

• Published in: Informatyka, automatyka, pomiary w gospodarce i ochronie środowiska Vol. 14; no. 2; pp. 113 - 118
• Main Authors: Ismael, Omar Mohammed, Qasim, Omar Saber, Algamal, Zakariya Yahya
• Format: Journal Article
• Language: English
• Published: Lublin University of Technology 30-06-2024
• Subjects: Harris hawks algorithm; hyper-parameter selection; quasi-oppositional learning; v-support vector regression
• ISSN: 2083-0157; 2391-6761
• DOI: 10.35784/iapgos.5729

Numerous real-world problems have been addressed using support vector regression, particularly v-support vector regression (v-SVR), but some parameters need to be manually changed. Furthermore, v-SVR does not support feature selection. Techniques inspired from nature were used to identify features and hyperparameter estimation. The quasi-oppositional Harris hawks optimization method (QOBL-HHOA) is introduced in this research to embedding the feature selection and optimize the hyper-parameter of the v-SVR at a same time. Results from experiments performed using four datasets. It has been demonstrated that, in terms of prediction, the number of features that may be chosen, and execution time, the suggested algorithm performs better than cross-validation and grid search methods. When compared to other nature-inspired algorithms, the experimental results of the QOBL-HHOA show its efficacy in improving prediction accuracy and processing time. It demonstrates QOBL-ability as well. By searching for the optimal hyper-parameter values, HHOAs can locate the features that are most helpful for prediction tasks. As a result, the QOBL-HHOA algorithm may be more appropriate than other algorithms for identifying the data link between the features of the input and the desired variable. Whereas, the numerical results showed superiority this method on these methods, for example, mean square error of QOBL-HHOA method results (2.05E-07) with influenza neuraminidase data set was the better than the others. For making predictions in other real-world situations, this is incredibly helpful.
Liczne problemy występujące w świecie rzeczywistym rozwiązano za pomocą regresji wektora nośnego, w szczególności regresji wektora nośnego v (v-SVR), ale niektóre parametry wymagają ręcznej zmiany. Ponadto v-SVR nie obsługuje wyboru funkcji. Do identyfikacji cech i estymacji hiperparametrów wykorzystano techniki inspirowane naturą. W tym badaniu wprowadzono quasi-opozycyjną metodę optymalizacji Harris Hawks (QOBL-HHOA), aby osadzić selekcję cech i jednocześnie optymalizować hiperparametr v-SVR. Wyniki eksperymentów przeprowadzono przy użyciu czterech zbiorów danych. Wykazano, że pod względem predykcji, liczby możliwych do wybrania cech oraz czasu wykonania zaproponowany algorytm sprawdza się lepiej niż metody krzyżowej walidacji i wyszukiwania siatki. W porównaniu z innymi algorytmami inspirowanymi naturą wyniki eksperymentalne QOBL-HHOA pokazują jego skuteczność w poprawianiu dokładności przewidywań i czasu przetwarzania. Wykazuje również zdolność QOBL. Wyszukując optymalne wartości hiperparametrów, HHOA mogą zlokalizować funkcje, które są najbardziej przydatne w zadaniach predykcyjnych. W rezultacie algorytm QOBL-HHOA może być bardziej odpowiedni niż inne algorytmy do identyfikacji łącza danych pomiędzy cechami wejścia a pożądaną zmienną. Natomiast wyniki numeryczne wykazały wyższość tej metody nad wymienionymi metodami, na przykład błąd średniokwadratowy wyników metody QOBL-HHOA (2,05E-07) z zestawem danych dotyczących neuraminidazy grypy był lepszy niż w pozostałych. Jest to niezwykle pomocne przy przewidywaniu innych sytuacji w świecie rzeczywistym.