Зиму 1846 года архимандрит Игнатий пробыл безвы­ходно в келии по причине тяжкой болезни, а с наступле­нием весны 1847 года он подал прошение о сложении с него настоятельской должности и увольнении на покой в Николо-Бабаевский монастырь Костромской епархии. Вме­сто увольнения на покой ему разрешен был только 11-ти месячный отпуск для поправления здоровья в указанный им Бабаевский монастырь. По отъезде архимандрита в этот отпуск, государь император, встретив однажды Чихачева, спросил о здоровье его товарища и приказал написать ему, что нетерпеливо ожидает его возвращения.

Летом 1847 года архимандрит Игнатий прибыл в Ба­баевский монастырь, где и занялся серьезным лечением. Ему отведены были келии, состоявшие из четырех малень­ких комнат, в отдельном мезонине над келиями настояте­ля. Помещение это, разобщенное с прочими жильями, весьма удобно было для безмолвия. С одной стороны из окон келии открывался величественный вид обширной местности, орошаемой рекою Волгою, и представлял ус­ладительное зрелище для отшельника в минуты отдохно­вения. Здесь архимандрит Игнатий написал много духов­ных назидательных писем к разным лицам, в числе их ряд писем к некоему иноку Леониду озаглавленных так: «К иноку, занимающемуся умным деланием». Здесь написа­на была статья: «Бородинский монастырь», которая не вошла в собрание сочинений; поводом написания этой статьи служило посещение архимандритом Бородинско­го монастыря, на пути следования в монастырь Бабаевс­кий, по приглашению тогдашней настоятельницы, игуме­ньи Марии Тучковой. Чрез 11 месяцев, в 1848 году архи­мандрит Игнатий возвратился в Сергиеву пустынь. Про­должительное безмолвие в пребывании уединенном на Бабайках расположило его еще более к совершенному от­шельничеству, к которому он постоянно стремился.

Понеся великую утрату в кончине возлюбленного мо­нарха своего государя императора Николая Павловича и не оставляя намерения переселиться на покой, архиманд­рит Игнатий в 1856 году предпринял путешествие в скит Оптиной пустыни исключительно с целью устроить там желанное пребывание на безмолвии. Он уже совсем было условился с Оптинским настоятелем о приготовлении для себя келии  в скиту и о переделке ее, дал 200 рублей задат­ку, и возвратился в С-Петербург, где по обстоятельствам, не от него зависящим, должен был на неопределенное вре­мя отложить исполнение своей мысли о переселении на покой и предать дальнейшую участь свою воле Божией.

В 1856-м году скончался С-Петербургский митропо­лит Никанор; назначенный на его место митрополит Григорий хорошо знал архимандрита Игнатия и даже состоял с ним в духовно-близких отношениях, а потому в видах пользы для церкви Божией предложил ему епископскую кафедру в Ставрополе Кавказском. По получении высочай­шего соизволения 23-го октября 1857 года происходило в Святейшем Синоде наречение архимандрита Игнатия во епископа Кавказского и Черноморского, а 27-го — самая хиротония в Казанском соборе, при весьма многочислен­ном стечении народа. На другой день новопоставленный епископ совершил литургию в лаврской Крестовой церк­ви, и затем три дня следующего месяца провел в Сергие-вой пустыне. 2-го ноября посетила пустынь великая кня­гиня Мария Николаевна, «чтобы проститься с епископом Игнатием», как она изволила выразиться. 3-го ноября, в воскресный день, епископ Игнатий отслужил в пустыне божественную литургию, участвовал на общей братской трапезе, и простившись со всеми, окончательно оставил Сергиеву пустынь. Он переехал в Невскую Лавру.

4-го ноября по назначении вдовствующей императри­цы Александры Федоровны, епископ Игнатий ездил в Цар­ское Села для представления ее величеству. Государыня изволила принимать его в своем кабинете, причем пожа­ловала ему панагию, украшенную бриллиантами и руби­нами, сказав: «С соизволения государя, даю вам эту пана­гию в память обо мне и о покойном государе». 9-го нояб­ря епископ откланивался у великого князя Константина Николаевича и великой княгини Александры Иосифовны, причем имел продолжительную духовную беседу с вели­кой княгиней, а 10-го, в Царском Селе, имел счастье от­кланиваться сначала у государя, потом у государыни осо­бо, на их половинах, при этом императрице угодно было говорить с ним очень серьезно о монашестве вообще и о Сергиевой пустыне в особенности. 17-го преосвященный участвовал в хиротонии Соловецкого архимандрита Алек­сандра во епископа Архангельского и Холмогорского. В этом же богослужении наместник Сергиевой пустыни иеромонах Игнатий возведен в сан архимандрита, и по ре­комендации епископа Игнатия и единодушному желанию братства, назначен настоятелем пустыни.

Прожив в Сергиевой пустыни без двух месяцев двад­цать четыре года, епископ Игнатий  оставил ее в весьма цветущем состоянии. В его управление обитель украсилась тремя новыми великолепными храмами.