Гарнизонная армия во Внутренней Монголии была создана 27 декабря 1937 года как группировка войск для несения гарнизонной службы в контролировавшейся ЯпониейВнутренней Монголии и прилегавших районах Северного Китая. С 4 июля 1938 года Гарнизонная армия во Внутренней Монголии стала в административном порядке подчиняться Северо-Китайскому фронту. В 1939 году в её состав вошла Кавалерийская группа, состоявшая из 1-й кавалерийской бригады и 4-й кавалерийской бригады. В декабре 1942 года 4-я кавалерийская бригада была передана 12-й армии, а из остатков Кавалерийской группы была сформирована 3-я танковая дивизия.
Во время всей японо-китайской войны благодаря советско-японскому пакту о нейтралитете Внутренняя Монголия оставалась глубоким тылом, и потому Гарнизонная армия во Внутренней Монголии с её архаичной кавалерией в основном служила для подготовки Национальной армии Мэнцзяна. Эти войска оказались неготовыми противостоять советской армии в 1945 году. Официально Гарнизонная армия во Внутренней Монголии была расформирована 27 июля 1946 года, большинство её солдат и офицеров стали советскими военнопленными.