Fiatal nemesi családba született, apja is hivatásos katona. Részt vett Bosznia-Hercegovina 1878-as megszállásában. Könyvet írt a katonai taktikáról. 1906-1911 és 1912-1917 között az Osztrák-Magyar Monarchia vezérkari főnöke.

Ferenc Ferdinánddal szövetkezve a „harcias párt” híveként megelőző háborút javasolt Olaszország és Szerbia ellen. Úgy vélte, addig kell nagy győzelemmel letörni a potenciális ellenségeket, amíg a katonai erőviszonyok ehhez a Monarchiának kedveznek.

Kardcsörtető nyilatkozatai, agresszív fellépése olykor keresztezte a Monarchia külpolitikáját. Ugyanakkor úgy látta, ha egyszerre kellene Oroszország, Olaszország és Szerbia ellen háborúzni, „akkor nem mozgósítunk”. A dolgokat hajlamos volt tisztán katonai szempontból, a politikai tényezőket figyelmen kívül hagyva vizsgálni, noha rendszeresen beavatkozott a külpolitika alakításába.

Jó stratéga volt. Az 1914-es és az 1914-1915 telén zajló galíciai vereségeket nem Conrad hibái okozták – kitűnő katonai tervezése ellenére, a nyomasztó orosz túlerő és a német szövetségessel akadozó együttműködés vezetett a kudarcokhoz.

Legnagyobb katonai sikere az 1915-ös gorlicei áttörés, melynek haditervét ő dolgozta ki. A Bruszilov-offenzíva feltartóztatása és a Monarchia olaszok elleni helytállása is Conradot dicséri. 1916-ban altábornaggyá nevezték ki.

Személye az új császárnak, a békére törekvő IV. Károlynak tehertétellé vált (egyébként is, a nagy hadvezérek „első generációját” a világháború elhúzódása miatt rendre utolérte a bukás).
1918 nyaráig a tiroli hadsereg parancsnoka. A háború után hozzákezdett emlékiratai megírásához, de befejezni nem tudta azt. 1925-ben halt meg.