Лев Михайлович Жемчужников родился 2 (14) ноября 1828 года в д. Павловка Елецкого уезда Орловской губернии (ныне Долгоруковского района Липецкой области). В семье кроме него было еще пять братьев и сестра. Отец его, потомственный дворянин Михаил Николаевич Жемчужников (1799–1833), был не чужд культурным интересам, но своего младшего сына Льва он непременно хотел видеть военным.

Раннее детство будущего художника прошло в д. Павловка. В 1835 году в возрасте 10 лет Лев Жемчужников поступил в Царскосельский малолетний Александровский кадетский корпус. Затем учился в 1-м Кадетском (1838–1845), и в Пажеском корпусе, откуда был выпущен в 1848 году «по слабости здоровья, с чином губернского секретаря». Лето 1849 года он провел в родной Павловке, где много сделал зарисовок с натуры.

Несмотря на отличные успехи, Л. Жемчужников «возненавидел все военное». Знакомство с К. П. Брюлловым укрепило его в желании заниматься искусством, и он стал вольнослушателем Петербургской Академии художеств (1849–1852). Первым учителем Льва Жемчужникова был «блестящий рисовальщик» А. Е. Егоров, затем ведущий живописец той поры П. А. Федотов.

Охладев к однообразным классным занятиям и потеряв веру в правильность академического взгляда на искусство, художник отправился летом 1852 года в Малороссию, где жил с наездами в Петербург пять лет. Он поселился в имении своего дяди в Ковалевке на Полтавщине. Во время своего пребывания в Малороссии он много рисовал, делал эскизы, записывал народные песни. Самые известные произведения Л. Жемчужникова посвящены Украине: картины «Кобзарь на шляху», «Чумаки в степи», «Лирник в хате», «Казак едет на Сечь», «Бандурист с мальчиком»; графические работы «Жница», «Казак в степи», «Покинутая», «Украинка», «Мальчик-попрошайка» и другие произведения. Последователь Т. Г. Шевченко, в ряде жанровых картин, акварелей и гравюр Жемчужников создал правдивые образы украинских крестьян.

Исследователи отмечают, что аристократ Л. М. Жемчужников питал пристрастие ко всему простонародному. Он ходил в простой одежде, любил рисовать крестьян, много ездил по Украине и обожал ее всем сердцем, дружил с Тарасом Шевченко. Даже женился на крепостной крестьянке Ольге (Акулине) Степановне Кабановой (1839–1909). Влюбившись в крепостную графа де Бальмен, он выкрал её из имения графа и вывез в Париж.

В 1857–1860 годах Жемчужниковы несколько лет провели в Европе, где Лев Михайлович учился живописи и мастерству гравера. В 1858 году он совершил путешествие в Грецию, Египет, Ливан, Палестину, Сирию.

Осенью 1860 года Л. М. Жемчужников вместе с семьей возвратился в Петербург и по 1862 год сотрудничал во вновь созданном группой украинских интеллигентов журнале «Основа», где опубликовал ряд статей и очерков, в которых сформулировал свои прогрессивные взгляды на искусство.

В 1861–1862 годах Л. М. Жемчужников выполнил серию офортов «Живописная Украина» и издал их альбомом как приложение к журналу «Основа». В эти годы Лев Михайлович работает преимущественно как график. К числу его лучших произведений относится офорт «Покинутая» (по поэме Т. Г. Шевченко «Катерина»).

В 1862–1870 годах художник жил в деревне Аршуковка Чембарского уезда Пензенской губернии. Избирался Чембарским уездным предводителем дворянства, гласным уездного земского собрания, председателем уездной управы, почетным мировым судьей.

В 1870 году Л. М. Жемчужников перебрался в Москву, где около 14 лет служил секретарем правления Московско-Рязанской железной дороги.

В 1869–1870 годах художник был членом «Общества аквафортистов». С 1875 по 1892 год – секретарем Московского художественного общества.

Выступал Лев Михайлович и как художественный критик. Его статья «Несколько замечаний по поводу последней выставки в Санкт-Петербургской Академии художеств» (1861) имела большой резонанс. Художник с профессиональных позиций выступал против отжившей системы образования, ратовал за бытовой реалистический жанр, за внимание к живому натурному рисунку и красочной живописи. Эту статью приветствовали Стасов и Чернышевский, она сыграла прогрессивную роль в победе нового реалистического направления в искусстве второй половины XIX века.

До конца своей жизни он не переставал заниматься гравированием.

Л. М. Жемчужниковым совместно с А. Е. Бейдеманом и Л. Ф. Лагорио был создан портрет знаменитого «Козьмы Пруткова», под именем которого писали родные братья Льва Михайловича поэты Александр, Алексей, Владимир Жемчужниковы вместе с двоюродным братом А. К. Толстым.

Л. М. Жемчужников известен также и как автор мемуаров «Мои воспоминания из прошлого», в которых ярко и живо представлена художественная жизнь России середины XIX века, где он рассказывает о К. П. Брюллове, П. А. Федотове, А. Е. Бейдемане, А. А. Агине, Т. Г. Шевченко и многих других. Первые части «Воспоминаний» посвящены молодым годам, учебе в Пажеском корпусе, поступлению в Академию Художеств. Повествование продолжают картины уездной жизни дореформенной России, поездка в Крым в разгар обороны Севастополя (1855), романтическая история знакомства с будущей женой. Следующие части – о пребывании в Швейцарии и Франции, путешествии по Сирии и Палестине (1857–1860), возвращении в Россию и деятельном участии автора в земских реформах (1861–1870).

Портреты Л.М. Жемчужникова исполнили Бейдеман (два, оба – кар., 1850-е гг.), Шевченко (масло, 1860).

Умер Л. М. Жемчужников 24 июля (6 августа) 1912 года  в Царском Селе. Похоронен в Москве, на Пятницком кладбище.