Sepanjang zaman penjajahan Jepang, benteng ini berfungsi menjadi penjara. Dari Februari 1943 sampai Februari 1944, terkumpul sekitar 1.580 pria terkurung di sini. Jumlah itu semakin bertumbuh sampai mendekati kemerdekaan Indonesia.
Nakamura merupakan seorang komandan penjara, sementara warga sekitar dipekerjakan menjadi penjaganya. Saat Jepang pergi dari Indonesia, para tahanan tersebut dilepaskan. Sehabis penyerahan kekuasaan, Benteng Van den Bosch pernah dipakai TNI Angkatan Darat.
(Natalia Bulan)