Его родители были коренными сибирскими «чалдонами» - крестьянствовали. Они работали вместе в амбарах-элеваторах купцов Второвых: отец - Александр Захарович - был грузчиком, мать - Васса Осиповна - перебирала пшеницу. Однако семья существовала недолго: когда Ива ну исполнилось три года, его отец погиб в пьяной драке. После этого молодая мать оставила сына на воспитание своему отцу, а сама уехала на заработки по городам Сибири. В итоге до одиннадцати лет Пырьев жил в большой старообрядческой семье деда, а с восьми уже помогал тому по хозяйству: ездил верхом, гонял лошадей на водопой, пас телят и свиней, работал верховым на сенокосе, жатвах и пахоте.

В 1913 году мать забрала Пырьева к себе, в городок Марьинск, где она жила с новым мужем - татарином Амировым, торговцем фруктами. Однако отношения пасынка и отчима не сложились с самого начала - Амиров не давал продыху мальчишке в лавке, гоняя по мелочам, а дома, когда напивался, бил смертным боем. В школу его пускали через раз. Однако отчим явно играл с огнем, не зная, что он имеет дело со Скорпионом-Быком. Вспомним гороскоп: «Это весьма опасный тип, может быть довольно резким, динамичным, напоминая своим поведением льва или носорога. В такие моменты его боятся да же хищники. Такого Быка не остановят никакие законы или предрассудки, он идет напролом, мстит за любое направленное против него действие…»

В итоге однажды, когда отчим буквально достал его своими придирками, Пырьев схватил в руки топор и бросился на Амирова. Тот так перепугался, что бежал от разъяренного мальчишки несколько километров. После этого, Пырьев не стал ждать возвращения отчима домой, а собрал свои нехитрые пожитки и, с благословения матери, ушел «в люди».