La position phylogénétique exacte de l’homme de Néandertal provoque encore de nombreux débats. Certains le regardent comme une sous-espèce au sein de l’espèce Homo sapiens et le nomment donc Homo sapiens neanderthalensis ; d’autres considèrent qu’il constitue une espèce indépendante et le nomment Homo neanderthalensis. Il ne s’agit pas d’un simple problème de classification, il s’agit aussi de savoir si l’Homme de Néandertal représente une lignée parallèle et éteinte, ou bien s’il a pu contribuer en partie au patrimoine génétique de l’homme actuel. Deux sous-espèces peuvent se croiser et avoir une descendance fertile, mais c’est beaucoup plus variable pour deux espèces différentes car certaines le peuvent et d’autres pas. L’infertilité de la descendance prouve l’existence de deux espèces distinctes, mais l’inverse n’est pas vrai.

Lors de son identification, l’hypothèse d’une espèce distincte a été privilégiée. Mais dans les années 1960, tous les Hominidés à l’exception des Australopithèques ont été regroupés dans le genre Homo. Les Néandertaliens ont alors été considérés comme une sous-espèce d’Homo sapiens. Cette hypothèse était alors soutenue par de nombreux spécialistes, comme le généticien Theodosius Dobzhansky ou encore le biologiste Ernst Mayr, qui déclarait que « jamais plus d’une seule espèce d’homme n’a existé au même moment ». Aujourd’hui, l’idée d’espèces distinctes est à nouveau proposée, notamment grâce aux apports de la génétique. En effet, les multiples études paléoanthropologiques effectuées sur les ossements ne permettent pas de se prononcer clairement sur la classification de l’homme de Néandertal. Des analyses comparées d’ADN mitochondrial puis d’ADN nucléaire extrait d’ossements de Néandertaliens, d’Homo sapiens anciens et modernes, ainsi que de formes supposées intermédiaires, publiées de 1997 à 2010, ont largement contribué à renouveler le débat.

Personne ne sait quand le métissage a eu lieu pour la première fois ni dans quelle proportion. D’une certaine façon l’homme de Neandertal a survécu à dans notre génome Les ancêtres des Asiatiques auraient hérité davantage de cet ADN néandertalien, mais aussi d’un autre groupe appelé hominidé de Denisova. Le mystère plane quant à savoir si l’évolution a favorisé la présence de ces gènes en raison de leurs bénéfices ou si l’évolution a consisté en une élimination progressive de l’ADN néandertalien. Des études indépendantes récentes mettent en avant la diminution de population de l’homme de Neandertal avant son extinction, ce qui aurait rendu moins efficace la sélection naturelle et l’élimination des mauvaises mutations. La fusion de la population néandertalienne dans la population Homo sapiens par accouplement fécond est aussi une des hypothèses envisagées pour expliquer sa disparition. Ce phénomène d’extinction par hybridation a lieu lorsque l’une des deux populations concernées est nettement plus nombreuse que l’autre : le génome de la première submerge peu à peu celui de la seconde. Dans cette hypothèse les Néandertaliens et leurs hybrides auraient disparu au profit des Homo sapiens et de leurs hybrides.

Aujourd’hui les Européen et les Asiatiques porteraient en moyenne entre 1,5 et 4% d’ADN néandertalien. Cela impliquerait des conséquences étourdissantes sur le génome de la population moderne. Un flot de nouvelles études suggèrent que ce métissage génétique a contribué à l’adaptation de nouveaux arrivants à leur environnement. Mais ces segments génétiques seraient devenu nuisibles, entraînant un risque accru de dépression, d’allergies, et d’autres maladies. Les chercheurs ont comparé directement de l’ADN de néandertalien dans des génomes de 28.000 adultes de descendance européenne avec leurs dossiers médicaux, afin de déterminer si cet héritage génétique archaïque a des effets non négligeables sur la biologie des humains moderne. Selon les sections héritées sur le génome, le risque de dépression varierait. Les gènes impliqués dans la dépression se situent près de ceux de l’horloge biologique. Connaitre la provenance des sections du génome d’un patient serait utile pour mesurer les risques de maladies.Les populations installées depuis longtemps sur le Vieux continent disposent de trois fois plus de gènes hérités de Néandertal impliqués dans le catabolisme des acides gras que leurs homologues d’Extrême-Orient. Avantageux autrefois, ces variants géniques pourraient aujourd’hui favoriser les acides gras associés à des maladies métaboliques, terme qui regroupe l’obésité, le diabète, l’hypertension ou des maladies cardiovasculaires. Ce qui fut un avantage pour les premiers Européens modernes se retourne aujourd’hui contre leurs descendants actuels.

D’autres études indiquent qu’au moins quelques gènes provenant d’ancêtres disparus on été bénéfique. Le transfert de gènes des Dénisoviens aux hommes modernes a laissé la plus forte fréquence d’une variante de certains gènes dans les populations d’Asie occidentale, l’endroit le plus probable où des accouplements entre Homo sapiens et Dénisoviens se sont produits. À partir d’un échantillon d’ADN microscopique prélevé sur un os vieux d’environ 80 000 ans, des chercheurs sont parvenus à décoder le génome de l’hominidé de Denisova, et à le comparer avec celui de ses proches cousins, les Néandertaliens et l’humain moderne. Leurs analyses révèlent notamment que la diversité génétique était assez importante chez les Dénisoviens et qu’une partie non négligeable de leurs gènes a été transmise aux habitants actuels d’Asie du Sud-Est, en particulier aux Papous. Une partie du matériel génétique de Denisova a été sélectionnée chez Homo sapiens pour s’adapter à la haute altitude. Un variant génétique provenant des Dénisoviens améliore le transport d’oxygène et est présent uniquement chez les Tibétains et chez les Chinois Han dans une moindre proportion.

Les sections du génome les plus riches en ADN néandertalien seraient celles qui contiennent les gènes du système immunitaire. Il y aurait une bonne raison à cela. De toutes les contraintes dont l’homme a dû faire face au cours de l’évolution, les agents infectieux sont l’une des plus importantes. Les gènes impliqués dans la première ligne de défense sont soumis à rude épreuve. Les récepteurs du type Toll, appelé aussi TLR, servent à détecter les motifs moléculaires associés aux pathogènes et coordonnent les réponses immunitaires. Des recherches viennent corroborer les observations montrant que les quelques mutations connues affectant les gènes des récepteurs TLR « à virus » sont à l’origine des maladies rares et graves. C’est le cas pour une mutation qui touche le gène TLR 3, et qui a été précédemment identifiée comme responsable des’encéphalites. Les mutations qui concernent les gènes des autres types de TRL, quant à elles, provoqueraient ou favoriseraient des maladies infectieuses moins sévères et plus fréquentes. L’une des mutations qui touchent le gène TLR 6 est par exemple à l’origine d’une prédisposition à l’asthme chez l’enfant. Les scientifiques ont également pu montrer qu’une mutation affectant le récepteur TLR1, chargé de reconnaître des bactéries, pouvait être un avantage. Retrouvée chez deux personnes sur cinq en Europe, cette mutation a pour effet d’empêcher l’expression de ce récepteur à la surface des cellules et par conséquent de réduire de 40 à 60% la réponse inflammatoire. Dans des études précédentes, cette mutation a même été associée à une plus grande résistance vis-à-vis de la lèpre et de la tuberculose.

Mais reste une énigme: chez l’homme moderne ces gènes auraient dû changer pour s’adapter aux nouveaux pathogènes rencontrés hors de l’Afrique. Cela aurait pris des milliers d’années. Le métissage aurait été le moyen de prendre un raccourci immunitaire, sans le risque de mutation fatale sur les gènes TLR. Néanderthal s’était lui adapté depuis des milliers d’années à son environnement. Il est donc probable que passer une nuit ou deux avec un Néandertalien fut un faible prix à payer en échange de gènes bénéfiques pour la survie de son espèce.