В последнем браке Жарова родились две дочери: Анна (1951, Кот) и Елизавета (1953, Змея).

В 1949 году Жарова удостоили звания народного артиста СССР. Однако четыре года спустя умер Сталин, и для Жарова наступили сложные годы: он угодил в немилость к новым правителям. По его же собственным словам: «В годы хрущевской оттепели нас окрестили как «любимцев сталинской эпохи» и принялись изобличать: «ах вы, такие-сякие, жили не тужили, с культом не боролись, хватали ордена, лицедействовали на сценах перед Сталиным!» Я отвечал: «Да, Сталин дважды аплодировал лично мне стоя. Только и после того я в любой момент мог закончить жизнь сидя».

Как писал кинокритик М. Кушнирович: «Жаров был актером, сумевшим силой своего таланта приподнять себя над нормативными догмами тоталитарного искусства! Да, он был звездой сталинского кинематографа. Как и многие другие - талантливые и популярные. Но вот ведь какая штука: самыми популярными были тогда не те, кто наиболее отвечал плакатному типу, но те, в ком ощущалось больше стихийности, бесшабашной лихости, чисто житейской хватки и юмора - Крючков, Чирков, Алейников. И, конечно же, Жаров…»

В 50-е годы Жаров мало снимался (за все десятилетие он записал на свой счет только 6 фильмов), но зато плотно был занят на сцене Малого театра. Причем там он еще был и секретарем партийной организации (его вновь восстановили в этой должности), из-за чего нажил себе немало недоброжелателей. Одним из них был замечательный актер Борис Бабочкин (18 января 1904 года, Козерог-Кот), легендарный Чапаев. Отметим, что с астрологической точки зрения у них была круглая гармония. И действительно, долгое время они относились друг к другу достаточно хорошо, но потом у них все разладилось. Почему? Вот что писал об этом сам Бабочкин в своем дневнике в январе 1968 года: