Den nøyaktige opphavet til termen «deep learning» er usikker, men flere innflytelser har sannsynligvis bidratt til dens oppkomst:
- Geoffrey Hintons artikkel fra 2006 om dype nevrale nettverk hjalp til å popularisere konseptet.
- Forskere som Yoshua Bengio brukte termen ofte i tidlige 2000-tallet.
- Noen lingvister knytter det til ideen om «deep structure» i kognitiv psykologi.
- Det oppsto som en måte å skille flerlags nevrale nettverk fra skjølere tradisjonelle maskinlæringsmodeller.
- Fremgang i datamaskinkraft, spesielt GPU-er i sent 2000-tallet, gjorde trening av dypere nettverk praktisk mulig.
I dag beskriver «deep learning» gren av maskinlæring fokust på kunstige nevrale nettverk med mange skjulte lag.