В Николо-Бабаевский монастырь преосвященный приехал 13 октября 1861 года. С ним прибыли: управлявший при нем Кавказским архиерейским домом игумен Иустин, присный духовный сын епископа, ризничий иеромонах Каллист, из послушников Сергиевой пустыни, иеромонах Феофан, состоявший духовником при Андреевской церкви Ставропольского архиерейского дома, из иноков Никифоровской пустыни Олонецкой епархии, и несколько послушников. Последние состояли на Кавказе под духовным руководством иеромонаха Феофана, который, равно как и игумен Иустин и иеромонах Каллист, пользовался сам советами и духовными наставлениями владыки Игнатия. Таким образом все лица, прибывшие с Кавказа в Бабаевскую обитель, составляли одну духовную семью, и их дружный образ действий скоро повлиял на весь внутренний и внешний быт обители.
Николо-Бабаевский монастырь расположен на правом берегу реки Волги, при впадении в нее небольшой речки Солоницы, которая отделяет Костромской монастырский берег от границы Ярославской губернии. За обеими реками в этой смежной губернии монастырь владеет небольшими сенокосными лугами. Жители Ярославля издавна расположены к Николо-Бабаевскому монастырю и с особенным благоговением и верою чтут имеющуюся в нем святыню — чудотворную икону святителя Николая. По-видимому, выгодное положение обители, стоящей на полпути между двумя губернскими городами Ярославлем и Костромой, и при одном из первых водных сообщений, должно намекать на материальное благосостояние ее, но на самом деле было не то: пришельцы с Кавказа застали этот общежительный монастырь всего с 60 рублями наличных денег, при двух тысячах рублей долгу, притом, пред самым вступлением в зиму, без всякого запаса хлеба и заготовки дров; хлебопашеством в монастыре вовсе не занимались. Благоустроению обители много помогло то обстоятельство, что, еще до приезда преосвященного Игнатия, бывший настоятель ее игумен Парфений, по собственному желанию и просьбе, был перемещен епархиальным начальством в Надеевскую пустынь той же Костромской епархии, и должность его была сряду занята игуменом Иустином; благочинным монастыря был назначен иеромонах Каллист, а иеромонах Феофан сделан вторым духовником. Чин богослужения, порядки келейного жительства, братская трапеза и жилища — все было поведено к улучшению. Заведено правильное хлебопашество на земле принадлежащей к монастырю — около 80 десятин, частью болотной, частью наносно-песчаной, для чего была произведена разбивка полей, прорыты канавы для осушки болот и чрез них болотная вода спущена в Волгу. Начата перестройка келий, назначенных для самого епископа, капитальное исправление корпуса братских келий и настоятельских. Корпус этот с одной стороны, обращенный к Волге — двухэтажный, с другой, внутрь монастыря — одноэтажный; его нашли нужным сшить поперечными железными полосами, так как он от сырости места и от неравномерной осадки значительно истрескался в этом направлении. Гостиница для приезжающих, расположенная у самой ограды монастыря, была вся переделана внутри и прилично меблирована.
В первый год по прибытии владыки Игнатия на Бабайки, посетил его старинный друг М. Чихачев, и это свидание их было последнее в жизни. Обоими признано было, что последнему не надо покидать своего места жительства Сергиевой пустыни, в которую он положил все свое состояние и пользовался в ней всеобщим уважением братства и теми удобствами, какие необходимы были для него в болезненной старости. В конце июня 1862-го года приехал в Бабаевскую обитель на жительство родной брат владыки П.А. Брянчанинов, испросив увольнение от службы с должности ставропольского гражданского губернатора, и поселился в монастыре па правах богомольца.
В мае 1862 года епископ Игнатий посетил преосвященных: Платона в Костроме, Нила в Ярославле и Иринея в Толгском монастыре, близ Ярославля; после этой поездки уже никуда не выезжал из монастыря, кроме прогулки в экипаже по окрестностям монастыря в хорошую погоду. В семь часов утра он пил чай, который признавал необходимостью как средство согревающее кровь, и говаривал: «Вот что значит старость, не напившись чаю и Богу неспособно помолиться». С 9-ти часов принимался за дела или выходил к литургии или осматривал производящиеся работы; принимал посетителей, по большей части крестьян больных, пользовавшихся от владыки медикаментами (гомеопатией). Таких больных стекалось очень много; один из келейников записывал имена их в книгу, лета и род болезни,а владыка отвечал, какое кому дать лекарство, число приемов и диету, если таковая оказывалась нужною. Лечение шло успешно, но чрез три года было прекращено по причине многолюдного стечения больных, нарушавших уединение святителя. В исходе 12-го часа дня владыка обедал. Стол его быль простой и кушал он очень умеренно. В 3-м часу кушал чай, к которому всегда призывал кого либо из братии и завершал угощение душеспасительною беседою. После вечерни, до 8-ми часов принимал всех, имевших к нему духовную нужду иноков и послушников, а также и посторонних посетителей. С 8-ми часов вечера владыка запирался в своих кельях; он спал обыкновенно не раздеваясь, на ночь надевал валенные сапоги, по причине болезни ног, издавна простуженных. Такова была обстановка келейной жизни преосвященного Игнатия на Бабайках.
С приездом преосвященного Игнатия в монастырь, стечение народа к богослужениям значительно увеличилось; церковь святителя Николая, вмещающая не более 600 человек, стала тесна, вся монастырская братия и окрестные жители стали выражать желание построить новый храм, вместо пришедшего в опасное состояние соборного храма Иверской Божией Матери, шести придельного, в четырех приделах которого уже воспрещено было отправлять богослужение, так как образовались большие трещины по всем направлениям каменных сводов. Явился жертвователь — подрядчик каменных работ, Ярославский мещанин Федотов, обещавший всю каменную работу исполнить своими рабочими безвозмездно, и дать на начальное действие 1 000 рублей. Преосвященный вызвал из С.-Петербурга знакомого ему архитектора, профессора академии художеств И.И. Горностаева и передал ему свою величественную идею нового храма, которую тот осуществил в своем проекте. Чтоб разобрать разрушавшийся соборный храм, надо было исходатайствовать чрез обер-прокурора Святейшего Синода высочайшее разрешение, а также подлежало высочайшему утверждению и разрешение постройки нового храма. Между тем монастырю необходимо было спешить разборкою храма, так как рабочие Федотова, в случае не разрешения, готовились отправиться в Петербург на свои заработки, тогда и Федотов вынужден был бы отказаться от обещанного, что составило бы большую потерю для храмоздателей.
В субботу на первой неделе Великого поста государь, по приобщении Святых Таин, благоволил вспомнить, что у обер-прокурора есть нужные к докладу дела и потребовал представить. Обер-прокурор, директор его канцелярии, начальник отделения, — все, чрез руки которых шло дело о Бабаевском храме, были в этот день причастниками. Государь принял во внимание пожертвования Федотова и благоволил разрешить разборку старого храма. В тот же день разрешение было передано по телеграфу чрез Ярославль в Бабаевский монастырь; вся братия монастыря были причастники, но владыке об этом было доложено на другой день — в воскресенье Недели православия после литургии, которую он совершал сам. Таким образом совершилось достойное замечания событие: первый шаг к сооружению нового храма был сделан лицами, которые все без изъятий только что сподобились причаститься Св. Христовых Таин, — видимый признак благословения Божия на начатое дело. С понедельника 2-й недели поста началась разборка старого храма; дело шло быстро, кирпич заготовлялся на заводах, устроенных при монастыре, добывался на месте ди-кий камень, который пошел в цоколь здания, распланирована была местность, так как новый храм воздвигался немного далее в глубь берега, размеры фундамента обозначены; твердый грунт не требовал свайных укреплений; предположено было с наступлением весны приступить к сооружению здания; ждали утверждения проекта, которое замедлилось. Министр путей сообщения находил, что архитектурные линии в нем слишком смелы, чтоб могли быть благонадежно исполнены; только по личным объяснениям архитектора Горностаева министерство согласилось на утверждение. Таким образом проект храма в честь чудотворной иконы Иверской Божией Матери был приготовлен к всеподданнейшему докладу, который в свою очередь разными случайностями оттянулся до конца мая, и лишь в 21 -е число того месяца, в день празднования Божией Матери иконы Владимирской, государь изволил утвердить проект. «Над построением храма Богоматери, — писал владыка своему брату, — очевиден перст Богоматери. Даруется человекам труждающимся в деле помощь; вместе даруется им побороться с препятствиями и поскорбеть для их же душевной пользы, чтобы очистить дело от примеси тщеславия и других увлечений, чтобы оно было совершено в богомудром смиренномудрии. Таков обычный ход дел покровительствуемых Богом».
Сооружению нового храма доставляли денежные средства расположенные к монастырю граждане гг. Ярославля и Костромы. Преосвященный Ярославский Нил сочувственно отнесся к желанию граждан ежегодно переносить с крестным ходом чудотворную икону святителя Николая из Бабаевского монастыря в Ярославский кафедральный собор. Костромской преосвященный Платон выразил свое
одобрение и Святейший Синод, указом от 4-го июля 1866 года, уважил и разрешил ходатайство Ярославского архипастыря. С тех пор икона эта носится ежегодно в Ярославль, встречаемая и провожаемая десятками тысяч жителей.