Ordet «shiba inu» (柴犬) kombinerer to japanske ord: «shiba» (柴) og «inu» (犬).
«Shiba» refererer til en type lite børstetre som finnes i Japans fjell, noe som antyder noe lite, kompakt eller rustikt. «Inu» betyr bare «hund».
Sammen oversetter «Shiba Inu» omtrent til «børstetre hund» eller «liten rustik hund», som speiler rasens opprinnelse i Japans landlige områder.