Exmoor-ponyer er mest vanlig brune, med mørkere man og hale. De kan også være dun, brunblakk (bay), svarte, eller kastanje, med noen ponyer som har hvite merker.
Likevel er det viktig å merke seg at Exmoor Pony Society kun anerkjenner brun, dun, og brunblakk (bay) som offisielle farger for avlsformål.