Его творческая жизнь была связана с Москвой. Сразу после окончания Ленинградской консерватории в 1956-ом году Марк Эрмлер был приглашен в труппу Большого театра, дебютировал в 1957-ом году в опере «Сельская честь» Маскани. С тех пор творчество маэстро было тесно связана с этим коллективом.
В Большом театре дирижер провел более двух тысяч оперных и балетных спектаклей. Среди самых известных его работ в качестве дирижера-постановщика — опера «Иоланта» Чайковского, «Каменный гость» Даргомыжского, «Тоска» Пуччини. Именно Эрмлер вернул в репертуар Большого театра редко исполняемую оперу Чайковского «Опричник». А за постановку оперы Даргомыжского «Каменный гость» дирижер был удостоен Государственной премии Российской Федерации имени Глинки.
Вместе с труппой Большого театра Марк Эрмлер осуществил более двадцати записей опер, которые составляют «золотой фонд» оперного наследия. По словам Ирины Архиповой, которая долгое время работала с дирижером: «Марк Эрмлер был дирижером, который знал все, с которым можно было в любом спектакле в любом концерте выйти совершенно спокойным и быть уверенным, что все будет в высшей степени профессионально».
Имя Марка Эрмлера было хорошо известно за пределами России. Он работал в лучших оперных театрах мира — Баварской государственной опере, театр «Колон» в Буэнос-Айресе, в «Ковент-Гардене», оперных театрах Канады, Шотландии, Австрии, Италии, Израиля... Как симфонический дирижер Марк Эрмлер имел солидную репутацию. Его абонементные концерты с различными симфоническими оркестрами Москвы в 80-е годы снискали большую популярность.