Дмитрий Жлоба родился 15 июня 1887 года в Киеве в семье рабочего, по другим сведениям – батрака. Активный участник революции 1905-1907 годов, состоял в боевой рабочей дружине г. Николаева. Склонный к технике, он самоучкой освоил навыки обращения с шахтным оборудованием и работал машинистом на рудниках Донбасса.
В годы Первой мировой войны как квалифицированный рабочий вначале получил освобождение от призыва, но в мае 1916 за участие в Горловско-Щербиновской стачке арестован и направлен в армию. Но на фронт не попал, так как оказался в школе авиамехаников в Москве.
После Февральской революции он сразу включился в политическую жизнь. В 1917 году был избран членом Московского совета от школы авиаторов. Во время Октябрьского вооруженного восстания 1917 года командовал красногвардейским отрядом. В ноябре был направлен военным комиссаром в Донбасс, где создал шахтёрский красногвардейский отряд. В январе 1918 года его отряд участвовал в установлении Советской власти в Киеве. Весной 1918-го он участвовал в защите Ростова от немцев. С того времени вся его фронтовая жизнь протекала на территории, ограниченной Царицыным, Владикавказом, Тифлисом и Мелитополем.
Весной и летом 1918 года Д. П. Жлоба – один из командиров армии Северокавказской советской республики, затем – командир Стальной дивизии Красной Армии, которая в октябре того же года совершила 800-км поход от Невинномысской до Царицына. Ударив в тыл войск атамана П. Н. Краснова, дивизия помешала им взять Царицын.
В 1919 году Дмитрий Жлоба командовал особым партизанским отрядом и группой войск под Астраханью, затем — кавалерийской бригадой в составе 1-го конного корпуса Б. М. Думенко, участвуя в освобождении Новочеркасска (январь 1920). С февраля 1920 г. – командир этого корпуса и конной группы, действовавших летом 1920 против войск Врангеля. В марте 1921 г. его 23-я кавалерийская дивизия преодолела Годерский (Кадорский) перевал и отстранила от власти в Тифлисе меньшевистское правительство, затем заняла Аджарию, которая непосредственно перед этим по секретному договору была передана Турции.
Награжден 2 орденами Красного Знамени и золотым оружием.
С момента демобилизации (1923) находился на различных хозяйственных должностях.
В 1937 году был арестован, и в следующем году расстрелян.
Бывшая соседка семьи Жлобы Р. Сыроватская рассказала об обстоятельствах обыска в квартире Жлобы:
Сын Жлобы Константин пытался повторить легендарный «подвиг» Буденного — бросился к оружию, чтобы выгнать чекистов из квартиры, но его быстро успокоили, и начался обыск. После ареста Дмитрия Петровича были арестованы и члены его семьи.
По воспоминаниям болгарской коммунистки Баласки Добриевны Ерыгиной в Армавирской тюрьме она находилась в одной камере с дочерью Жлобы Ларисой. Но ей и брату удалось выйти из тюрем и дожить до преклонного возраста.
10 июня 1938 года в г. Краснодаре на закрытом заседании выездной сессии Военной коллегии Верховного суда СССР был оглашен приговор «кубанским повстанцам». Всех подсудимых приговорили к высшей мере наказания – расстрелу с конфискацией имущества. В тот же день Жлоба и другие фигуранты дела были расстреляны.
Реабилитация Дмитрия Павловича произошла 30 мая 1956 года, а в 1960 году одна из улиц Краснодара была названа его именем.
О Дмитрие Жлобе написана книга Гавриила Мартыненко «Комкор Дмитрий Жлоба».