Gråhvaler er mørkegrå overalt, med lysere flekker på magen, spesielt om sommeren. De er i snitt 10,7 til 15 meter lange og veier ca. 18 til 32 tonn. Kroppen er strømlinjeformet og muskuløs med en robust bygging. Hoden er medium og litt rundet, med en karakteristisk V-formet blåsehull. Øynene er små og plassert på sidene av hodet. Gråhvaler har en enkelt ryggfinne plassert ca. to tredjedele langs ryggen, samt to store, brede brystfinner. Deres blåse er kort og buskete, ofte som en bred tåke. Huden er tykk, læraktig og ofte dekket med akser og annet marinliv. I stedet for tenner har de baleen-plater brukt for filtermat av små organismer.