Herrschaft der Tōyama und die Sengoku-Zeit

Die Burg soll von dem höheren Samurai Katō Kagekado im Jahre 1185 errichtet worden sein. Sein Sohn Kagetomo war der erste, der den Namen Tōyama führte. Die Tōyama blieben fast vierhundert Jahre die Burgherren.

In der Sengoku-Zeit geriet die Burg in die Kämpfe zwischen Takeda Shingen und Oda Nobunaga. Der Chef des Hauses, Tōyama Kagetō hatte sich Nobunaga angeschlossen und dessen Tante, Watanabe Misako, geheiratet. Ab 1570 bemühte sich Akiyama Nobutomo, ein General Takeda Shingens, die Burg zu erobern. Als Kagetō 1573 starb, übernahm Misako an Stelle des achtjährigen Adoptivsohns (Nobunagas fünfter Sohn) die Führung der Familie und verteidigte weiter. Es kam schließlich zu Verhandlungen, und Nobutomo wurde 1573 Burgherr, heiratete die Witwe Kagetōs. Er wurde aber 1575 von Oda Nobutada angegriffen und verlor die Burg. Er, seine Frau und Gefolgsleute mussten daraufhin mit dem Leben büßen.

1575 wurde Kawajiri Shizuyoshi mit 50.000 koku Einkommen für sieben Jahre Burgherr, bis er 1582 vom jungen Mori Rammaru abgelöst wurde. Nachdem Rammaru im selben Jahr im Honnōji-Zwischenfall starb, wurden seine Geschwister Nagayoshi und Tadamasa Burgherren und modernisierten die Burg. Den Mori folgte Tamaru Tomotada, der allerdings wegen seines Verhaltens in der Schlacht von Sekigahara bei Tokugawa Ieyasu schon nach einem Jahr in Ungnade fiel.

Edo-Zeit

Nach der Machtübernahme durch Tokugawa Ieyasu erhielten 1601 die Ogyū-Matsudaira die Burg mit einem Einkommen von 20.000 koku, bis sie 1638 im Ländertausch nach Hamamatsu gingen und die Niwa die Burg übernahmen. 1702 kehrten im Ländertausch die Ogyū zurück und blieben Burgherren bis zur Meiji-Restauration. Danach führten sie den Titel Vizegraf.