Заповедник расположен на лесистом правобережье Мокши. С севера граница проходит по р. Сатису – правому притоку Мокши, далее на восток – по р. Арге, впадающей в р. Сатис. Западная граница идет по рекам Черной, Сатису и Мокше. С юга подступает лесостепь, естественно очерчивая границу заповедного массива. По природному районированию лесной массив заповедника входит в зону хвойно-широколиственных лесов на границе с лесостепью.
Климатически заповедник входит в атлантико-континентальную область умеренного пояса. Безморозный период длится 120-135 дней (с начала мая до второй половины сентября). Устойчивая минусовая температура устанавливается в ноябре. Максимальная абсолютная температура 40°С, минимальная – –48°С (зима 1978–1979 г.). В год выпадает в среднем 530 мм осадков. Средняя высота снежного покрова 50–60 см, в многоснежные годы – до 80 см.
Два оледенения придали специфический облик обширному поясу полесий. Днепровское оледенение обнажило известняки и затем закрыло их мореной. Валдайский ледник 25 тыс. лет назад своими потоками смыл отложения предшествующего оледенения, заполнив впадину древнеаллювиальными песками. Древние оледенения значительно изменили рельеф, оставив широкую полосу песков Днепровско-Деснинского и Окско-Клязьминского полесий, частично разделенных Среднерусской возвышенностью. Мордовский заповедник находится в юго-восточной части Окско-Клязьминского полесья, на самой границе с лесостепью.
Водораздельный участок между реками Мокшей и Сатисом представляет четвертую, Днепровскую террасу, а на пологом склоне к Мокше выделяются еще две Валдайские террасы (третья и вторая), более молодые. Моренные отложения здесь смыты, а подстилающие известняки покрыты мощным слоем песков. Древнеаллювиальные пески покрывают и морену, сохранившуюся на четвертой террасе. Мощность песков неодинакова, но, в общем, они покрывают все надпойменные террасы. Потоками уходящих ледников пески намывались, что нарушило равнинный характер местности, особенно на самых древних террасах долины Мокши. Ближе к реке молодые террасы выровнены, но в равнинном рельефе иногда выделяются глубокие карстовые воронки. На территории заповедника встречаются воронки диаметром до 30 м, а ближе к водоразделу и более обширные, но неглубокие блюдцеобразные оседания, занятые сфагново-осоковыми болотами. Здесь карстовые воронки имеют своеобразную форму: на дне воронки – вода, в центре – сплавинный остров, покрытый мощным слоем сфагнового мха, скрепленного корневищами осок.
Площадь водосбора бассейна р. Мокши до границы заповедника – 15 800 кв.км. Водная сеть заповедника представлена малыми речками (Пуштой, Большой и Малой Черной, Аргой) и ручьями (Шавецом, Ворскляем, Нулуем), впадающими в р. Мокшу. Все они в свою очередь имеют сеть небольших притоков временного порядка. За исключением р. Пушты, речки не имеют хорошо выраженных русел и постоянного тока воды в течение всего года. Летом вода сохраняется только в отдельных их участках. Выходы родников поддерживают запас воды и на дне некоторых карстовых воронок, в блюдцеобразных понижениях. Высота годичного слоя стока около 104 мм. В 1965 г. пик паводка на Мокше достиг отметки 731 см. Летние осадки мало влияют на русловый сток Мокши. Лишь после сильных ливней повышается уровень воды в речках бассейна, а затем и в Мокше. Большая часть территории заповедника входит в водосбор р. Пушты, впадающей в р. Сатис на границе заповедника. Русло Пушты почти на всем протяжении слабо врезано и с верховьев имеет выраженную пойму, часто заболоченную, без заметного уреза коренного берега. На гидрологию реки заметно влияют бобровые запруды, которые подтапливают большие площади. В засушливые годы русло реки пересыхает до самых низовий. В юго-западной части заповедника располагается около двух десятков озер. Это старицы Мокши, иногда крупные и глубокие (Пичерки, Боковое, Таратинское, Инорки, Вальза). Озера соединены протоками. Поверхность воды занята кувшинками (Nymphaea candidaJ. Presl), кубышками (Nuphar lutea (L.) Smith), рдестом (Potamogeton natansL.), водокрасом (Hydrocharis morsus-ranae L.) и телорезом (Stratiotes aloidesL.). Особенно значительно зарастает растительность в прибрежной части водоемов.
Иной характер верховий рек в восточной части заповедника. Это глубоко врезанные каналы типа ущелий с завалившимися над ними деревьями. Ключи, питающие эти речки, имеют иногда длину всего 10–15 м. Над ними характерны проседания верхних горизонтов почвы типа карстовых провалов. Дренирующее влияние таких речек благоприятно для почвообразовательных процессов. Они улучшают лесорастительные свойства почв. Особенности почв заповедника связаны с их положением в рельефе и лесорастительными условиями. На первой пойменной террасе преобладают черноземы под дубравами и перегнойно-глеевые под черноольшаниками; на второй и третьей террасах – слабодерново-подзолистые песчаные почвы под борами; местами есть бурые лесные почвы, почвы на кварцевых песках, подстилаемых моренными суглинками, почвы с мощным перегнойно-аккумулятивным горизонтом.