Les premiers coups de pioche de la construction de cette caserne ont été donnés en 1863, par les artilleurs de Marine. Destiné au départ à accueillir le génie militaire, le bâtiment, de 75 mètres de long sur 15 de haut, est finalement devenu une caserne d'infanterie. Il a fallu plus de dix ans pour construire le rez-de-chaussée et le premier étage. L'édification d'un second étage n'a été entreprise qu'en 1875. La caserne a pris le nom de Gally-Passebosc en 1898, du nom d'un colonel tué pendant l'insurrection kanak de 1878.