Avoid non‐probability sampling to select population monitoring sites: Comment on McClure and Rolek (2023)

• Published in: Methods in ecology and evolution Vol. 15; no. 8; pp. 1296 - 1301
• Main Authors: Perret, Jan, Laroche, Fabien, Papuga, Guillaume, Besnard, Aurélien
• Format: Journal Article
• Language: English
• Published: London John Wiley & Sons, Inc 01-08-2024; Wiley
• Subjects: Abundance; Annual variations; Biodiversity and Ecology; biodiversity conservation; demography; Environmental Sciences; Estimates; Monitoring; occupancy; population dynamics; population monitoring; Population statistics; Population studies; Sampling; Sampling methods; sampling strategy; Simulation; Site selection; survey design; Trends; Variance; Biodiversity conservation; Sampling strategy; Demography; Occupancy; Survey design; Population monitoring; Population dynamics
• ISSN: 2041-210X; 2041-210X
• DOI: 10.1111/2041-210X.14380

Population monitoring programmes typically rely on sampling because it is impossible to survey all the sites within the study area. In such a situation, the general recommendation to obtain unbiased estimates of population trends is to select monitoring sites using probability sampling. However, site selection not based on probability sampling, such as selecting sites with the largest abundance of individuals at the beginning of the monitoring programme, is common in practice. Nevertheless, these methods carry the risk of obtaining biased trend estimates.
Using simulations, McClure & Rolek (2023) investigated whether three non‐probability sampling site selection methods can yield unbiased trend estimates under some specific conditions. For two of these methods, that is selecting high quality sites and selecting sites known to be occupied, the authors conclude that there is a major risk of obtaining biased trend estimates. For the third method, that is selecting sites with the largest initial abundance, they found conditions in which unbiased estimates can be obtained. They conclude that the general recommendation to use probability sampling should be revised. Here, we show that the authors' results, although perfectly correct, do not invalidate this recommendation.
First, we point out that the authors made strong assumptions about the populations' functioning in their simulations, especially that inter‐annual variance in abundance is similar for all sites, which is unlikely in most real populations. We show through simple simulations that even slightly relaxing this assumption invalidates the authors' results. We also point out that for most of the hypotheses made by the authors, it is generally not known at the beginning of a study whether they will be respected. Furthermore, the authors did not provide evidence that selecting sites based on high initial abundance leads to more precise trend estimates than probability sampling methods. Therefore, neither the benefits nor the risks of this method are known.
We conclude that until evidence is provided that abundance‐based site selection improves estimate precision and the situations in which it provides unbiased estimates are clearly identified, using probability sampling should remain the rule.
Résumé
Les programmes de suivi des populations reposent généralement sur de l'échantillonnage car il est impossible de suivre tous les sites de la zone d'étude. Dans de telles situations, la recommandation générale pour obtenir des estimations non biaisées des tendances de population est de sélectionner les sites suivis via une méthode d'échantillonnage probabiliste. Cependant, dans la pratique il est courant que les sites ne soient pas sélectionnés sur la base d'un échantillonnage probabiliste, par exemple en choisissant les sites présentant la plus grande abondance d'individus de l'espèce cible au début du programme de suivi. Néanmoins, ces méthodes engendrent un risque élevé d'obtenir des estimations biaisées des tendances.
En utilisant des simulations, McClure & Rolek (2023) ont cherché à savoir si trois méthodes de sélection des sites par échantillonnage non probabiliste peuvent produire des estimations non biaisées des tendances dans certaines conditions spécifiques. Pour deux de ces méthodes, à savoir sélectionner des sites de haute qualité et sélectionner des sites connus pour être occupés par l'espèce cible, les auteurs concluent qu'il y a un risque majeur d'obtenir des estimations biaisées des tendances. Pour la troisième méthode, c'est‐à‐dire sélectionner les sites avec la plus grande abondance initiale, ils ont trouvé des conditions dans lesquelles des estimations non biaisées peuvent être obtenues. Ils concluent que la recommandation générale d'utiliser l'échantillonnage probabiliste devrait être révisée. Nous montrons ici que les résultats des auteurs, bien que parfaitement corrects, n'invalident absolument pas cette recommandation.
Tout d'abord, nous signalons que les auteurs ont fait des hypothèses fortes sur le fonctionnement des populations dans leurs simulations, et en particulier que la variance interannuelle de l'abondance est similaire pour tous les sites, ce qui est peu probable pour la plupart des populations réelles. Nous montrons à l'aide de simulations simples que même un léger relâchement de cette hypothèse invalide les résultats des auteurs. Nous soulignons également que pour la plupart des hypothèses formulées par les auteurs, il n'est généralement pas possible de savoir au début d'une étude si elles seront respectées ou non. En outre, les auteurs n'ont pas apporté de preuve que sélectionner les sites sur la base d'une abondance initiale élevée conduit à des estimations plus précises des tendances que les méthodes d'échantillonnage probabiliste. Ainsi, les avantages et les risques de cette méthode sont inconnus.
Nous concluons que jusqu'à ce qu'il soit prouvé que sélectionner les sites suivis en fonction de l'abondance améliore la précision des estimations des tendances de population et que les situations dans lesquelles cette méthode fournit des estimations non biaisées soient clairement identifiées, utiliser l'échantillonnage probabiliste pour sélectionner les sites suivis doit rester la règle.