Az 1764. év volt a fordulópont Watt életében. Az egyetem fizikai intézete átadta neki Newcomen gőzgépét kijavítás és üzembe helyezés végett. A gépet nem tudták üzembe helyezni, talán soha nem is járt. A feladatot sikerült megoldania, innen kezdve egész életében a gőzgép fejlesztésével foglalkozott.

A párolgáshő előbbi vizsgálata alapján éles szemmel meglátta Newcomen gépének hiányait. Ebben a gépben nagy emelő egyik karján a gőzgép hengere volt a dugattyúval. A dugattyú mozgatta az emelő egyik karját, ezáltal a másik kar is fel-alá mozgott és a vízszivattyút járatta. A henger alatt gőzkazán volt, melynek gőze a dugattyút fellökte. Ekkor vízcsap nyílt ki, víz jutott a hengerbe és a lehűtés folytán a gőz lecsapódott. A víz egyúttal a dugattyút is tömítette. A dugattyút lefelé a légköri levegő mozgatta, ezért is nevezték ezt a gőzgépet atmoszferikusnak.

Ennek a gépnek hatásfoka igen kicsiny volt, nagyon sok fűtőanyag kellett üzeméhez. Tudniillik a hideg víz lehűtötte a hengert és dugattyút, ezeket először 100°-ra fel kellett melegíteni, csak ezután kezdődött a munkavégzés. Watt kiszámította, hogy a dugattyú eltolásához szükséges gőz térfogata a henger térfogatának 3-4-szerese. Azt is megfigyelte, hogy nagyon sok vizet kell bebocsátani és a víz is nagyon felmelegszik.

Watt meghatározta a víz párolgáshőjét és ezt 1 atmoszféra nyomáson 534 kalóriának találta. Ez a számadat nagyon kevéssé tér el a mai értéktől (536 kalória). Watt felismerte, hogy a hengert a beáramló gőz hőmérsékletén kell tartani, ellenben ugyanezt a hengert lehetőleg hidegen kell tartani, mert egyúttal sűrítő is volt. Ez természetesen két ellenmondó követelés.

Hosszú keresés után megtalálta a megoldást: elkülönítette a sűrítőt a dugattyútól, vagyis, mai kifejezéssel élve, a fáradt gőzt a hengerből elvezette és külön térben idézte elő a lecsapódást. Ez Watt-nak első és talán legnagyobb érdeme. De a gyakorlatban beváló géphez még az újításoknak hosszú sora kellett.

A dugattyút kóccal és zsírral tömítette, a hengert felül is elzárta, a dugattyú rúdját a fedőn át vezette. A levegőt egészen kiküszöbölte, a gőz mozgatta a dugattyút fel-alá. Ezért a kazánt és sűrítőt megfelelő időben kellett a dugattyú alatt és fölött levő térrel összekötni, persze felváltva. Ezt a gép a tolattyúval önműködően végzi. A sűrítőben a meleg vizet el kell távolítani és új hideg vizet kell bevezetni. Watt ezt a feladatot is a géppel magával végezteti el.

Az első kísérlet 1765-ben sikerült, de a gyakorlati alkalmazásig még hosszú volt az út. A 20 évig tartó munka sok kiadással járt, Watt elhanyagolta üzemét és adósságba keveredett. Műhelyét feloszlatta, földméréssel kereste meg kenyerét, de mint írja, minden gondolata csak a gőzgépre irányult. Roebuck, egy nagy vasmű tulajdonosa 1768-ban tudomást szertett Watt kísérleteiről, neki szüksége volt szénbányáiban ilyen gépekre, ezért a Newcomen-féle gép hatásfokának emelése érdeke volt.

Mikor Watt 1769-ben az első szabadalmat megkapta, Roebuck ellátta anyagi eszközökkel a további kísérletekhez. Watt hét pontban foglalta össze szabadalmi igényeit, de ezek között voltak még egyáltalában meg nem valósított gondolatok. A szabadalmat mégis megkapta és így a gőzgép gyártása egyedüli joga lett. A szabadalmak kihasználása csak jóval később következett.

Közben Roebuck anyagi nehézségekkel küzdött, ezért megszüntette a támogatást. De Watt barátainak sikerült új anyagi forrást találni. Boulton, birminghami gyáros kielégítette Roebuck követeléseit és további anyagi eszközöket adott. Watt innen kezdve Joho-ban, Birmingham mellett dolgozott, élete nagy művét jórészt itt végezte. Szövetkezése Boulton-nal más tekintetben is előnyös volt.

Watt annyira szerény volt, hogy még első szabadalmának megszerzése után is így ír: „Ma lépek életem 35. évébe és azt hiszem, hogy alig végeztem eddig 35 penny értékű hasznos munkát. De nem tehetek róla.” Inkább a laboratóriumban szeretett dolgozni, mint az üzemben.

Valószínű, hogy nagy és korszakos munkájának alig látta volna hasznát Boulton nélkül, akinek határtalan önbizalma volt. A támogatásnak az volt egyik feltétele, hogy újabb szabadalmat kapjon. 1775-ben valóban sikerült 25 évre szóló szabadalmat elnyernie.