"Shiba" refererer til en type lite pensel som finnes i de fjellrike regionene i Japan. Ordet "Shiba" brukes til å beskrive noe lite, kompakt eller rustikk. Når det gjelder Shiba Inu, refererer det sannsynligvis til hundens lille størrelse og dens tilknytning til landlige områder.
"Inu" betyr ganske enkelt "hund" på japansk. Det er et vanlig ord som brukes til å referere til alle typer hund, uavhengig av rase.
Så ordet "Shiba Inu" oversettes bokstavelig talt til "børstehund" eller "liten rustikk hund." Dette navnet gjenspeiler hundens opprinnelse og dens tilknytning til landlige områder i Japan hvor det ble avlet.