Со второй половины 70-х Жарова все чаще подводит здоровье. Сыграв в 1978 году в последний раз своего Анискина («И снова Анискин»), он практически исчезает из поля зрения широкой общественности. Болезни преследуют его одна за другой: бронхиты, гриппы, гастрит. Некогда плотный и упитанный, Жаров вдруг сильно похудел, теперь все пиджаки буквально висели на нем. Сам актер был убежден, что у него рак. В конце 1981 года Жарова в очередной раз положили в Кремлевскую больницу. Отметим, что это был год Петуха.

Буквально до последних дней Жаров продолжал веселить больных. Близкие говорили ему: «Михаил Иванович, ложитесь в нормальную больницу, здесь не вылечат». На что он реагировал очень бурно: «Не сметь так говорить! Как вы можете не доверять врачам?!»

Но несмотря на лечение, загадочные боли в боку усиливались. В итоге перитонит у Жарова обнаружили слишком поздно… 14 декабря 1981 года он попросил свою жену: «Майечка, ты не приходи ко мне пока, все равно через пару дней домой…» Однако на следующее утро великого актера не стало.

По словам его дочери Анны: «Папа всегда страшно за нас боялся. Переживал, что оставит семью неустроенной, что мы без него пропадем. Соглашался на любые роли в кино, на все, что предлагали, концерты давал - словом, работал на износ. Он считал нас совершенно беспомощными, да это, честно говоря, так и было… Помню, я пошла в гастроном, где папа обычно брал заказы. Стоит за прилавком такая крепенькая продавщица и шушукается с подружкой. Подошла моя очередь, она мне очень спокойно говорит: «Жаров здесь заказы не берет, с тех пор как умер». Это было на девятый день после папиной смерти…»