Éste pequeño perro sólido y astuto como un zorro llegó al archipélago Nipón hace más de 3.000 años. Se le considera una de las razas más antiguas del país. Probablemente provenía del sur de China dónde vivían cánidos salvajes que se le parecían mucho. Siguiendo las migraciones humanas, parece ser que atravesó Corea, antes de llegar a la isla de Honshu la mayor del archipiélago japonés.
Su principal misión era cazar, rastrear la caza de pluma como el yamadori, una especie de faisán, pero también para perseguir la liebre, el tejón, el zorro. Y a pesar de su tamaño pequeño, se cree que también cazaba jabalíes y osos. Como era el único perro de aquellas comarcas, este valeroso compañero seguía manteniendose muy puro. De esta manera pasaron muchos siglos durantes los cuales el Shiba Inu no cambió, pero gracias a su astucia, mejoró sus cualidades de cazador. Las familias seguían siendoles fieles. El apego a la raza se transmitía de generación en generación. Y aunque el perro no ocupe una posición de importancia en la cultura tradicional japonesa, el Shiba Inu si constituía un elemento celosamente protegido.
En 1910-1912 los japoneses empezaron a interesarse por la cinofilia. Enumeraron sus razas, las estudiaron e intentaron preservarlas. Se reconoció que formaban parte del patrimonio nacional. La protección oficial del Shiba Inu fue declarada en 1936. El estallido de la segunda guerra mundial provocó estragos en la población canina. Al final de la guerra, el Shiba Inu estaba a punto de extinguirse. Los cinólogos hicieron un esfuerzo considerable y viajaron a los pueblos más alejados de la Isla de Honshu, para intentar encontrar supervivientes y a partir de los ejemplares más característicos, reconstruir la raza. La operación resulto un éxito.
En la actualidad, el Shiba Inu se ha convertido en uno de los perros de compañía más populares de Japón. En un número modesto incluso ha llegado a Europa.