El Shiba ha sido una raza del Japón desde los tiempos primitivos. La palabra « Shiba » se refería a algo de « pequeño », un « perro pequeño ». El hábitat del Shiba era el área montañosa frente al Mar del Japón y fue utilizado como perro de caza de pequeños animales y aves. Existían ligeras diferencias en las razas de acuerdo con las áreas en donde eran criados.
Conforme se importaron perros de Inglaterra como los Setters Ingleses, y los Pointers Ingleses durante el período 1868-1912, la cacería se fue convirtiendo en un deporte en el Japón, y la cruza del Shiba con esos perros ingleses se hizo frecuente, de manera que encontrar un Shiba puro fue raro, por lo que entre los años 1912 y 1926 los Shibas puros dentro de esos confines se volvieron muy escasos.
Desde 1928 los cazadores y otras personas cultas se preocuparon por preservar a los Shibas puros iniciándose seriamente la conservación del número limitado de líneas de sangre puras que existía. En 1934 se unificó finalmente el estándar de la raza. En 1937 se declaró al Shiba como monumento natural, y desde entonces se crió y mejoró la raza hasta llegar a ser la raza superior que se conoce actualmente.