Первый Темниковский музей был основан еще в 1901 году дворянским собранием Темниковского уезда Тамбовской губернии. Он размещался в помещении городского училища. У истоков создания музея стояли дворяне Демидовы(потомки уральских заводчиков Демидовых); князья Кулунчаковы (родные дед и бабушка русского писателя А.И. Куприна); Ушаковы (потомки великого адмирала Ф.Ф. Ушакова), Оболенские, Новосильцевы, Романовские, Чуриловы и многие, многие другие. Музей постоянно был открыт для массовых посещений, его фонды насчитывали более 3 тысяч экспонатов. 24 октября 1903 года товарищем (заместителем) министра Н.П. Лукьяновым был утвержден Устав музея.
К началу 1920-х годов в музее действовали естественноисторический, октябрьский, школьный, архивный отделы, библиотека. Заведовала музеем учительница Темниковской школы Е.Н. Флёрина. Этот музей был закрыт в 1956 году, а все его экспонаты переданы Республиканскому краеведческому музею (г. Саранск).
Через 10 лет П.П. Смирновым (1903 -2001), известным мордовским краеведом, исследователем жизни Ф.Ф. Ушакова, был организован новый музей на общественных началах, который Постановлением Совета Министров МАССР от 18 сентября 1968 года стал филиалом Республиканского краеведческого музея и получил название "Историко-краеведческий музей им. Ф.Ф. Ушакова".
Музей располагается в историческом здании, построенном в 1809 г. Во время Отечественной войны 1812 г. здесь был госпиталь, который содержался на средства адмирала Ф.Ф. Ушакова и священника А. Иванова. В настоящее время в музее работают 8 залов, в фондах - более 7 тысяч экспонатов.