Józef Ulma pochodził z ziemi przemyskiej, gdzie się urodził 2 marca 1900 w wielodzietnej, rolniczej rodzinie w Markowej, jako syn Marcina i Franciszki z domu Kluz. Rodzice posiadali trzy hektary ziemi. W 1911 ukończył czteroklasową szkołę powszechną w rodzinnej miejscowości. W młodości zaangażował się w działalność społeczną. Mając siedemnaście lat był członkiem Związku Mszalnego Diecezji Przemyskiej, którego celem oprócz modlitwy było zbieranie funduszy na rzecz budowy i konserwacji kościołów i kaplic.
Angażował się w Katolickim Stowarzyszeniu Młodzieży, później działał w Związku Młodzieży Wiejskiej RP „Wici”, w którym był bibliotekarzem i fotografem oraz przewodniczącym Powiatowej Sekcji Wychowania Rolniczego w Przeworsku.
W 1921 został powołany do odbycia służby wojskowej, pełniąc ją w latach 1921–1922 m.in. w Grodnie. Następnie w okresie od 1 listopada 1929 do 31 marca 1930 kształcił się w Państwowej Szkole Rolniczej w Pilźnie. Po jej ukończeniu z wynikiem bardzo dobrym stał się propagatorem upraw warzyw i owoców, prowadząc szkółkę drzew owocowych, hodując pszczoły oraz jedwabniki. W 1933 otrzymał nawet nagrodę od Okręgowego Towarzystwa Rolniczego w Przeworsku za konstrukcję uli, nowe narzędzia pszczelarskie i hodowlę jedwabników. Jako pierwszy w Markowej wprowadził w swoim domu elektryczność, podłączając żarówkę do małego, ręcznie zbudowanego wiatraka.
Jedną z jego pasji była fotografika. Na podstawie książek i czasopism wykonał aparat, który posłużył mu do stworzenia zdjęć. Dzięki niemu zachowały się zdjęcia z wielu wydarzeń z Markowej oraz zdjęcia rodzinne.
7 lipca 1935 ożenił się z pochodzącą z tej samej miejscowości – Wiktorią Niemczak. Józef z żoną byli rolnikami na niewielkim kilkuhektarowym gospodarstwie. W ciągu dziewięciu lat małżeństwa rodzinie Ulmów urodziło się sześcioro dzieci: Stanisława (ur. 18 lipca 1936), Barbara (ur. 6 października 1937), Władysław (ur. 5 grudnia 1938), Franciszek (ur. 3 kwietnia 1940), Antoni (ur. 6 czerwca 1941) i Maria (ur. 16 września 1942). Małżonkowie byli aktywnymi członkami parafii św. Doroty w Markowej. Pogłębiali swoją wiarę poprzez modlitwę rodzinną i udział w życiu sakramentalnym Kościoła. Oboje należeli do Bractwa Żywego Różańca. Po wybuchu II wojny światowej został zmobilizowany, biorąc udział w kampanii wrześniowej 1939.
Podczas okupacji niemieckiej Józef Ulma zaangażował się w pomoc eksterminowanym Żydom. Prawdopodobnie w drugiej połowie 1942 przyjął pod swój dach ośmioro żydowskich uciekinierów z rodzin Goldmanów/„Szallów”, Grünfeldów i Didnerów. Ponadto pomógł innej żydowskiej rodzinie wybudować ziemiankę w pobliskim lesie, a następnie zaopatrywał jej mieszkańców w żywność i inne produkty.
Po pewnym czasie leśna ziemianka została odkryta przez Niemców, a czworo ukrywających się w niej Żydów (trzy kobiety i dziecko) zostało zamordowanych. Fakt udzielania przez Ulmę pomocy uciekinierom nie został wówczas ujawniony. Z kolei pozostałych ośmioro Żydów ukrywało się w gospodarstwie Ulmów do wiosny 1944.
Wiosną 1944 Ulmowie zostali zadenuncjowani przez granatowego policjanta Włodzimierza Lesia, który wcześniej zagarnął majątek rodziny Szallów i zamierzał pozbyć się jego prawowitych właścicieli. 24 marca 1944 niemieccy żandarmi z posterunku w Łańcucie rozstrzelali Józefa Ulmę, a także jego żonę, będącą w zaawansowanej ciąży i szóstkę dzieci (8-letnią Stanisławę, 6-letnią Barbarę, 5-letniego Władysława, 4-letniego Franciszka, 3-letniego Antoniego i półtoraroczną Marię). Razem z Ulmami zginęli również wszyscy ukrywani Żydzi.
Zostali pierwotnie zakopani przed domem, w następnym tygodniu ich ciała wydobyto i złożono do czterech trumien. Pogrzeb odbył się 11 stycznia 1945 pod przewodnictwem proboszcza parafii św. Doroty w Markowej ks. Ewarysta Dębickiego, po czym zostali pochowani początkowo na cmentarzu w Markowej. W dniach 30 marca – 1 kwietnia 2023 została dokonana ekshumacja ich szczątków, a następnie po beatyfikacji zostaną one złożone do specjalnie przygotowanego sarkofagu, w bocznym ołtarzu poświęconym Matce Bożej kościoła św. Doroty w Markowej.
13 września 1995 roku Józef Ulma został wraz z żoną pośmiertnie odznaczony medalem Sprawiedliwy wśród Narodów Świata. Ponadto postanowieniem prezydenta RP Lecha Kaczyńskiego z 25 stycznia 2010 małżeństwo Ulmów zostało pośmiertnie odznaczone Krzyżem Komandorskim Orderu Odrodzenia Polski
Z inicjatywy proboszcza parafii św. Doroty w Markowej – ks. Stanisława Leji podjęto starania w celu wyniesienia ich na ołtarze. Po rozpoznaniu grupy męczenników II wojny światowej (w tym rodziny Ulmów) 17 września 2003 biskup pelpliński Jan Bernard Szlaga rozpoczął proces beatyfikacyjny na szczeblu diecezjalnym w ramach procesu drugiej grupy 122 męczenników II wojny światowej w diecezji pelplińskiej. Odtąd przysługiwał im tytuł Sług Bożych. Proces na szczeblu diecezjalnym zakończył się 24 maja 2011. 10 maja 2014 Stolica Apostolska wydała dekret o ważności procesu diecezjalnego.
Ze względu na wzrastającą opinię o męczeństwie rodziny Ulmów oraz podkreślenia przykładu ich życia i tragicznej śmierci, metropolita przemyski, abp Adam Szal 31 stycznia 2017 zwrócił się do Kongregacji Spraw Kanonizacyjnych o wyłączenie tego procesu z procesu grupy męczenników II wojny światowej. W tej sytuacji 20 lutego 2017 w archidiecezji przemyskiej otwarto nowy proces beatyfikacyjny Sług Bożych – Józefa i Wiktorii Ulmów oraz ich 7 dzieci, jako męczenników z powodu nienawiści do wiary. W lipcu 2020 ukończono prace nad liczącym 500 stron dokumentem tzw. Positio o męczeństwie Rodziny Ulmów.
6 grudnia 2022 odbyła się sesja biskupów i kardynałów Dykasterii Spraw Kanonizacyjnych, która pozytywnie zaopiniowała propozycję wyniesienia ich na ołtarze jako męczenników, po której papież Franciszek promulgował 17 grudnia tegoż roku dekret o ich męczeństwie, otwierając drogę do ich beatyfikacji. 14 lutego 2023 abp Adam Szal wyznaczył dzień 10 września 2023 jako datę uroczystości beatyfikacyjnej.