Жаров вернулся в Москву и поступил в труппу Театра имени Сафонова. Играл почти каждый день: Тринкуло в «Буре» Шекспира, Лепорелло в «Каменном госте» Пушкина, в комедиях Мольера. Однако, несмотря на столь плотную занятость, жил Жаров в ту пору небогато: актерские ставки были небольшими. Поэтому, когда в стране наступил НЭП, Жаров стал параллельно выступать по ночам в частном кабаре «Не рыдай!», которое помещалось в двухэтажном флигеле в Каретном Ряду, близ сада «Эрмитаж». Он пел там куплеты, читал скетчи-диалоги.

В начале 20-х Жаров поступил в Театр РСФСР-1 под руководством Всеволода Мейерхольда (1874, Петух), где сразу же стал получать главные роли. Однако спустя пять лет Жарову стало неуютно в этом театре и с этим режиссером (недаром говорится, что «Свинья Петуху не товарищ»), и он уезжает в провинцию: три года играет в Баку, затем один сезон в Казани. На рубеже 30-х Жаров возвращается в Москву и поступает в Реалистический театр. А потом семь лет играет у другого режиссера-Петуха - Александра Таирова (1885) в Камерном театре. Именно тогда к нему и приходит слава. Правда, не в театре (там она придет к нему чуть позже, когда он сыграет Алексея в «Оптимистической трагедии» в паре с гениальной Алисой Коонен), а благодаря «великому звуковому» - кинематографу.