Les biais de la data dans le recrutement

Les statistiques sont utilisées de plus en plus dans le process de recrutement. Je communique régulièrement sur une notation que j’ai créée à l’instar de certains sites (sofascore, whoscored, MPG…). Ce type de note est certainement utilisé par certains recruteurs.

Pourtant, il existe certains biais non maîtrisés des observateurs qui peuvent conduire à des erreurs de recrutement que je développerais par la suite :

• Le biais de qualité de donnée

• Le biais de complétude de l’information

• Le biais de la notation du site ou de l’analyste

• Le biais du niveau du championnat

• Le biais d’interprétation de la note et le risque d’erreur de jugement

• Le biais d’adéquation du profil

Le biais de qualité de donnée

En effet, les fournisseurs de données (ex : Wyscout) peuvent introduire un biais car la donnée peut être aberrante, il peut y avoir des valeurs extrêmes à l’origine des vidéos/actions répétées plusieurs fois.

La signification de ces indicateurs peut aussi être en écart avec la réalité et notre compréhension de l’action.

• Une interception qui est en réalité un contre et le ballon part en touche…

• Un duel jugé perdu alors que le ballon sort en 6 mètres

• Une perte de balle car c'est un joueur adverse qui touche le ballon en premier, bien que le ballon soit récupéré par l'équipe par la suite…

• Une passe longue peut être en réalité un dégagement en catastrophe, un long ballon perdu au lieu de repartir plus simplement au sol…

• Le duel offensif peut être en réalité un duel en position basse d'un défenseur…

Mon avis: La qualité de donnée reste acceptable et  permet de dégager des tendances mais non définitives, l’analyse vidéo doit être utilisée pour venir confirmer l’analyse.

Le biais de complétude de l’information

Les indicateurs pourraient être plus complets et encore mieux expliquer la performance

Le jeu sans ballon n'est par exemple pas pris en compte, faire le bon appel, avoir le bon positionnement, le bon repli défensif…

Mon avis : Le jeu avec ballon doit permettre de capter environ 80% de l’information, le jeu de corrélations permet de réduire significativement l’apport de nouvelles informations pour évaluer la performance.

Le biais de la notation du site ou de l’analyste

Les modèles de notation sont toujours perfectibles, attention aux ratios (un joueur peut avoir 100% de dribbles réussis mais dribbler une fois par match), on n’a pas toujours connaissance des algorithmes se cachant derrière la note. Un joueur remplaçant rentrant en cours de jeu peut être largement pénalisé sur certains sites.

Mon avis :  Mon modèle est perfectible au dizième près mais le gain de performance n'est pas intéressant comparé à l’usage réalisé sur la détection, le tri et le premier aperçu de la performance.

Le biais d’interprétation du lecteur et de l’analyste

L’analyste va orienter vers des profils de joueurs qu’il aura sélectionnés, combien de temps a-t-il consacré au ciblage et à l’identification ?

La compréhension du lecteur peut aussi être altérée si le profil du joueur ne lui est pas expliqué oralement. Comme en entreprise, il y a souvent besoin d’une réunion pour s’assurer de la bonne compréhension des interlocuteurs.

Mon avis : Il faudrait que les analystes soient mieux intégrées au process de recrutement en renforçant les compétences des clubs en interne.

Le biais du niveau du championnat

Les joueurs peuvent ressortir indépendamment du niveau du championnat.

Il existe un indicateur comparatif clubelo pour les championnats européens qui permet d'avoir un premier aperçu de la variation de niveau, il est aussi possible d'analyser spécifiquement les transferts comparables d’un championnat à un autre sur une même période, mais le niveau des championnats et des équipes évoluent. Un joueur aura de meilleures statistiques dans un championnat plus facile. En écosse, par exemple, Glasgow Rangers et le Celtic dominent régulièrement très largement leur championnat et sont régulièrement confrontés à de plus grands clubs en coupe d'Europe. Un autre biais du même ordre est celui du biais du niveau de l’équipe dans son championnat.

Mon avis : C’est le biais le plus important. Avec du temps et des études statistiques approfondies, il est possible de se faire un avis qualitatif sur le niveau attendu du joueur dans un nouveau championnat. On peut aussi introduire quantitativement la différence de division. Par exemple, j’ai déjà pu montrer que la différence entre la Ligue 1, la Ligue 2 et le National est en moyenne de 2 dixièmes (0,2) par division, càd qu’un très bon joueur de national à 7,2 peut espérer être un bon joueur en Ligue 2 à 7 et être un joueur moyen de Ligue 1 à 6,8 à condition de bien sûr d’être recruté et de jouer.

Le biais d’interprétation de la note et le risque d’erreur de jugement

Plus il y a des minutes observées, plus l'évaluation est robuste et gomme la volatilité.

Mon avis : C’est aussi un biais important même s’il permet de détecter des joueurs qui jouent peu mais qui sont performants. il faut être prudent et critique dans l’analyse et prendre en compte l’intervalle de confiance. Un joueur classé 10ème est-il réellement plus fort que le 20ème ? Non, l’écart entre les 2 n’est pas suffisant, c’est l’analyse vidéo et l’approfondissement de la valeur du joueur qui permettra de choisir un joueur plutôt qu’un autre.

Biais d’adéquation du profil

Tout dépend du profil recherché, le joueur correspond-il au projet de jeu ? Y a-t-il déjà ce type de joueur dans l’effectif ?

Mon avis : Il y a la possibilité d’adapter la recherche en fonction des critères quantitatifs pour mieux cibler les profils. Ensuite, il y surtout une dimension « management »  et qualitative.

Les clubs devront garder un certain équilibre dans la constitution de l’effectif, postes doublés, jeunes formés au club ou non, joueurs expérimentés et connaissance du championnat, joueurs sur une bonne dynamique et un bon état d’esprit...

En conclusion, le recrutement des joueurs doit faire intervenir un maximum d’intervenants (statistiques, vidéos, avis de recruteurs et avis d’entraineurs) pour éviter les biais d'analyse car les résultats sportifs, la santé financière des clubs peuvent en dépendre.