Иван Павлович Машков родился в семье кузнеца с. Трубетчино, Спасское тож Лебедянского уезда Тамбовской губернии (ныне Добровский район), Михаила Евдокимовича и Евфимии Денисовны Соколовых. 1 (13) января 1867 года,  был крещен в Христорождественском соборе г. Липецка.

В 1875 году рано потерявший родителей мальчик был отдан сестрой его матери Татьяной Денисовной на усыновление в бездетную семью липецкого купца 2-й гильдии Павла Карповича Машкова и его жены Наталии Ефимовны (в девичестве Андреевой).

В 1875–1880 годах Иван Машков учился в Липецком уездном училище, где получил первые навыки в рисовании.

В воспоминаниях для родных и близких, написанных в последние годы жизни, Иван Павлович так описал своё детство и раннюю юность: «Единственно близкая нам семья – Леонида Никандровича Великолепова, женатого на племяннице моей приемной матери, Вере Алексеевне. Их старшие дети Коля и Катя были моими друзьями. С благодарностью я вспоминаю семью Великолеповых, оказавшую большое влияние на мое развитие. Л. Н. был сначала учителем истории и географии, а потом штатным смотрителем Липецкого уездного училища. У него собирались все педагоги и самые культурные люди города… На Рождественские праздники у Великолеповых были огромные елки, убранные подарками и сластями для детей, – для нас это всегда величайшее удовольствие, с ёлки обычно я возвращался, нагруженный пряниками, конфетами и игрушками... Летом под вечер мы с Колей почти каждый день вместе с Л. Н. ходили купаться на реку Воронеж… Еще несколько слов о своих учителях: Л. Н. Великолепов был прекрасный и строгий учитель, зато его предмет мы знали хорошо… …После смерти отца и распродажи имущества, нас первое время приютила семья Великолеповых, у которых была в то время квартира при училище в большом особняке, где в антресолях нам дали комнату…».

Большое влияние на судьбу Ивана Машкова оказал брат приёмной матери, Алексей Ефимович Андреев, который служил землемером и учителем рисования и чистописания в Уездном училище, а также исполнял обязанности липецкого городского архитектора. Андреев после смерти приёмного отца взял Ивана к себе помощником, научил его чертить и снимать с натуры планы местности и составлять оценки для страхования недвижимого имущества.

В 1881 году 14-летний Иван Машков выдержал экзамен и был принят сразу в головной класс Московского училища живописи, ваяния и зодчества (МУЖВЗ). За проект на тему «Губернское собрание», выполненный в 1885 году по классу архитектуры под руководством А. С. Каминского, Машков был награжден Малой серебряной медалью. В 1886 году он окончил МУЖВЗ с Большой серебряной медалью за проект на тему «Почтампт» и званием классного художника архитектуры с правом производства строительных работ. Факт получения полноценной лицензии в 19 лет – уникален для российской архитектурной школы (обычно путь от поступления в МУЖВЗ до получения лицензии занимал 10-15 лет). Учителями И. П. Машкова в 1885-1888 годах были ведущие архитекторы: K. М. Быковский, А. Е. Вебер, А. С. Kаминский, Д. Н. Чичагов.

В 1889–1890 годах архитектор жил в Липецке, где по его проектам в 1888–1890 годах были построены земская больница на ул. Воронежской, ныне Советской (снесена в конце 1960 года); первая женская гимназия на ул. Канавной, ныне ул. Скороходова (снесена в середине 1970-х годов); Никольская церковь при тюремном замке (ныне действующий Никольский храм на улице Торговая, 16).

В 1914 году в Ельце по его проекту было сооружено здание для отделения Государственного банка, основанного в Ельце 1 июня 1882 года. Здание банка было построено на пересечении улиц Манежной и Кладбищенской (ныне Ленина и Л. Толстого). Ныне состоит под охраной как памятник архитектуры.

После возвращения в Москву И. П. Машков состоял архитектором Братолюбивого Общества (1890–1913). Многие работы этого периода выполнены по заказу благотворительных заведений, что исключало любые архитектурные излишества.

В 1894–1907 годах он преподавал курс теней и перспективы в МУЖВЗ, а также в частном Училище изящных искусств архитектора А. Гунста.

В 1895–1917 годах И. П. Машков служил городским архитектором Московской городской управы, ведая в разные годы застройкой Лефортовской, Мещанской и Басманной частей Москвы, а также руководил организацией и работой архитектурного отдела Политехнического музея (1897–1933).

Иван Павлович был действительным членом Московского архитектурного общества (МАО) (с 1888), заместителем председателя МАО (с 1913).

Он спроектировал и построил в Москве более 70 архитектурных сооружений, среди них памятники первопечатнику Ивану Федорову (совместно со скульптором С. М. Волнухиным) и драматургу А. Н. Островскому (совместно со скульптором Н. А. Андреевым), Преображенскую психиатрическую больницу (ныне больница имени П. Б. Ганнушкина), Большую аудиторию Политехнического музея, множество доходных домов, купеческих особняков и богаделен.

Большинство построек Машкова принадлежит к псевдорусскому стилю и неоклассицизму, но наиболее известен он постройкой в стиле модерн доходного дома М. В. Сокол на Кузнецком Мосту в Москве. Майоликовая мозаика на аттике с изображением парящего сокола, выполненная по эскизу Н. Н. Сапунова, перекликается с фамилией владелицы дома.

С 1895 года И. П. Машков был членом-корреспондентом Императорского Московского археологического общества (ИМАО), с 1898 года – действительным членом Общества, возглавлял Комиссию по сохранению древних памятников, под его редакцией издавались «Труды Комиссии по сохранению древних памятников».

Несмотря на свою деятельность по охране памятников, Иван Павлович был сторонником строительства небоскребов в Москве и в 1913 году предложил к постройке проект 13-этажной башни на Тверской, заблокированный городской думой.

После революции он возглавил работу Комиссии по изучению, сохранению и восстановлению памятников искусства, руководил реставрационными работами в Успенском соборе Кремля, в Смоленском соборе Новодевичьего монастыря, в храме Василия Блаженного на Красной площади, в Сухаревой башне, в зданиях Московского университета, Румянцевского музея.

Архитектор обследовал многие памятники русской архитектуры, подытожив эту работу проектами их восстановления.

Благодаря публикации И. П. Машковым обмеров Древне-Успенской церкви XVII века в Липецке, ее внесли в список храмов, подлежащих сохранению, и тем самым спасли от разрушения в годы революции. В архиве Липецкого краеведческого музея хранятся ксерокопии чертежей И. Машкова. Это планы и фасады Троицкой и Древне-Успенской церквей, датированные 1891 годом.

С 1918 года И. П. Машков работал старшим архитектором отдела проектирования Моссовета, участвовал в разработке первого Генерального плана развития «Новая Москва». Он был одним из немногих, кто осмелился протестовать против сноса храма Христа Спасителя.

В 1930-х годах И. П. Машков писал учебники по архитектуре, консультировал советских строителей и архитекторов. Архитектор З. Розенфельд говорил: «Можно сказать без всякого преувеличения, что нет ни одного более или менее серьезного здания в Москве, в котором Иван Павлович не принял бы участия своими замечаниями и ценными советами».

В 1934–1937 годах преподавал в Московском архитектурном институте (МАрхИ), был руководителем кафедры в Вечернем Строительном институте им. Моссовета.

Во время Великой Отечественной войны И. П. Машков не покидал столицы, он писал пособия по возведению временных зданий в экстремальных военных условиях, возглавил экспертный отдел Комитета по делам архитектуры, который был призван начать восстановление разрушенных городов. В 1945-м, последнем году жизни, вновь реставрировал Смоленский собор Новодевичьего монастыря.

Заслуги И. П. Машкова были оценены по достоинству: в царской России он стал кавалером Ордена Святого Станислава второй степени, а в СССР в 1937 году был удостоен звания Героя Труда.

Умер И. П. Машков в своем рабочем кабинете 12 августа 1945 года и был похоронен на Новодевичьем кладбище, ограду которого создал еще в дореволюционные годы.

В 1998 году в Липецке на здании аптеки № 1 (ул. Ворошилова, 1) была установлена мемориальная доска И. П. Машкову.