ENMeval 2.0: Redesigned for customizable and reproducible modeling of species’ niches and distributions

• Published in: Methods in ecology and evolution Vol. 12; no. 9; pp. 1602 - 1608
• Main Authors: Kass, Jamie M., Muscarella, Robert, Galante, Peter J., Bohl, Corentin L., Pinilla‐Buitrago, Gonzalo E., Boria, Robert A., Soley‐Guardia, Mariano, Anderson, Robert P.
• Format: Journal Article
• Language: English
• Published: London John Wiley & Sons, Inc 01-09-2021
• Subjects: Accessibility; Algorithms; Business metrics; Compatibility; cross-validation; Decision making; ecological niche model; Ecological niches; Geographical distribution; Literature reviews; metadata; model evaluation; model tuning; Niches; Optimization; Parameterization; Performance measurement; Redesign; software; spatial; species distribution model; Tuning
• ISSN: 2041-210X; 2041-210X
• DOI: 10.1111/2041-210X.13628

Quantitative evaluations to optimize complexity have become standard for avoiding overfitting of ecological niche models (ENMs) that estimate species’ potential geographic distributions. ENMeval was the first R package to make such evaluations (often termed model tuning) widely accessible for the Maxent algorithm. It also provided multiple methods for partitioning occurrence data and reported various performance metrics.
Requests by users, recent developments in the field, and needs for software compatibility led to a major redesign and expansion. We additionally conducted a literature review to investigate trends in ENMeval use (2015–2019).
ENMeval 2.0 has a new object‐oriented structure for adding other algorithms, enables customizing algorithmic settings and performance metrics, generates extensive metadata, implements a null‐model approach to quantify significance and effect sizes, and includes features to increase the breadth of analyses and visualizations. In our literature review, we found insufficient reporting of model performance and parameterization, heavy reliance on model selection with AICc and low utilization of spatial cross‐validation; we explain how ENMeval 2.0 can help address these issues.
This redesigned and expanded version can promote progress in the field and improve the information available for decision‐making.
​
要旨
種の分布予測を行う生態学的ニッチモデル（ecological niche models=ENMs）の過剰適合を避けるため，モデルの複雑さを最適化するための定量評価を行うことが一般的である。ENMevalはモデルチューニングとも呼ばれるこの評価を，Maxentモデルに対して広く利用可能にする初のRパッケージである。またこのパッケージは，種の在データを分割する複数の手法・評価測定を提供する。
ユーザからのリクエストや本研究分野の最近の発展，ソフトウェアの互換性の問題などから，ENMevalの大幅な再開発と拡長につながることとなった。さらにENMevalの使用トレンド（2015–2019）を調べるため，文献調査を行った。
ENMeval 2.0には，他のアルゴリズムを追加する新たなオブジェクト指向ストラクチャ，アルゴリズムと評価指標のカスタマイズ、大量のメタデータ生成，統計学的有意性と効果量を測定するヌルモデルの実装，解析手法と視覚化の選択肢の充足といった拡張が組み込まれている。また，文献調査によりモデル評価とパラメータ設定に関する報告の不足，AICcのモデル選択に依存過剰であること，更に空間的交差検証の使用頻度が低い事が明らかとなった。我々はこれらの問題をENMeval 2.0がどのように対処できるかを議論する。
再設計により拡大されたENMeval 2.0は，本研究分野の発展を促進し，意思決定に利用可能な情報の充足に寄与する事が期待される。
​
Resumen
Se ha vuelto un estándar la evaluación cuantitativa para optimizar la complejidad en los modelos de nicho ecológico (MNE), los cuales estiman la distribución geográfica potencial de las especies, con el propósito de evitar su sobreajuste. ENMeval fue el primer paquete de R que hizo que esta evaluación (denominada también ajuste del modelo) fuera accesible para el algoritmo Maxent. También permitió el uso de múltiples métodos para hacer particiones de los datos de presencia y de varias métricas para evaluar el desempeño de los modelos.
La versión 2.0 fue rediseñada, incluyendo nuevas funcionalidades, como respuesta a las solicitudes de usuarios y a los desarrollos recientes en el campo, asimismo para garantizar su compatibilidad con otros programas. Adicionalmente, realizamos una revisión de la literatura para investigar las tendencias en el uso de ENMeval entre 2015 y 2019.
ENMeval 2.0 tiene una nueva estructura orientada a objetos para agregar otros algoritmos, permite personalizar la parametrización de los algoritmos y las métricas de desempeño, genera metadatos extensos, implementa una aproximación de modelo nulo para cuantificar la significancia y el tamaño del efecto en métricas de desempeño, e incluye características que incrementan la variedad de opciones de análisis y de visualización. En nuestra revisión de la literatura, encontramos insuficiente reporte de las métricas de desempeño y la parametrización de los modelos, una gran dependencia a seleccionar modelos solamente con AICc y una poca utilización de la validación cruzada con particiones espaciales. Además, explicamos cómo ENMeval 2.0 puede ayudar a abordar los problemas encontrados en esta revisión.
Esta versión rediseñada y ampliada busca promover avances en el campo de modelamiento de nicho ecológico y mejorar la información disponible para la toma de decisiones.
​
Résumé
Les évaluations qualitatives pour optimiser la complexité sont devenues communes afin d’éviter le surajustement des modèles de niche écologique (ENM) qui estiment les distributions géographiques potentielles des espèces. ENMeval fut la première librairie R à rendre largement accessibles ce type d’évaluations (souvent appelées “model tuning” en anglais) pour l'algorithme Maxent. Elle proposait également de multiples méthodes pour partitionner les données d'occurrence, ainsi que des mesures de performance variées.
Les demandes des utilisateurs, les récentes avancées de cette discipline, et les besoins de compatibilité avec d'autres logiciels, ont conduit à une restructuration et une extension majeure de la libraire ENMeval. En outre, nous avons effectué une revue de littérature afin d'examiner ses tendances d'utilisation (2015–2019).
ENMeval 2.0 présente donc une nouvelle structure orientée objet pour incorporer d'autres algorithmes, permettre l'optimisation des paramètres des algorithmes et des mesures de performance, générer des métadonnées approfondies, intégrer une approche par modèle nul afin de quantifier la significativité statistique et la taille d'effet, ainsi que de nouvelles composantes pour élargir les possibilités d'analyse et de visualisation. Dans notre revue de littérature, nous avons relevé que les mesures de performance et de paramétrage des modèles sont insuffisamment rapportées, que l’AICc est massivement utilisée pour la sélection des modèles, et que la validation croisée spatialisée est peu utilisée; nous expliquons comment ENMeval 2.0 peut contribuer à résoudre ces problèmes.
Cette version restructurée et élargie peut favoriser des progrès dans cette discipline et améliorer l'information disponible pour la prise de décisions.
​