Gimė 1925 m. Anykščių raj. Mokėsi Kretingos ir Anykščių gimnazijose. 1944 m. Šeduvoje vokiečių buvo suimtas ir išvežtas darbams į Suomiją ir Norvegiją. 1945–1952 m. Belgijoje studijavo teologiją ir filosofiją, 1952 m. tapo kunigu ir vienuoliu pranciškonu.

Persikėlęs gyventi į JAV atsikūrusią lietuvių pranciškonų šv. Kazimiero provinciją, 1953–1963 m. buvo lietuvių Prisikėlimo parapijos vikaras ir vienuolyno Toronte vyresnysis, 1969–1979 m. – Šv. Kazimiero vienuolyno Niujorke (Bruklinas) vyresnysis. Organizavo vienuolyno spaustuvės, lietuvių kultūros centro „Kultūros židinys“ statybas, dėstė lituanistinėje mokykloje. 1964–1967 m. ir 1970–1979 m. lietuvių pranciškonų šv. Kazimiero provincijos patarėjas, 1979–1984 m. – provincijolas. JAV ir Kanados lietuvių parapijų administratorius. Nuo 1984 m., kai Portlando katedroje jis buvo įšventintas vyskupu, P. A. Baltakis beveik 20 metų, iki 2003-ųjų, vadovavo užsienio lietuvių katalikų sielovadai, aplankė bene visas pasaulyje lietuvių katalikų bendruomenes ir parapijas. Jis rūpinosi 140 lietuvių katalikų parapijų ir misijų, beveik milijono užsienio lietuvių katalikų sielovada, palaikė glaudžius ryšius su Lietuvos vyskupais ir tikinčiaisiais, ypač su broliais pranciškonais, išgarsėjo kaip aktyviausias Lietuvos tikinčiųjų teisių ir laisvių gynėjas bei užtarėjas pasaulio katalikų bendruomenėje. 1988 m. įkūrė Lietuvių sielovados tarybą, biuletenį „Vyskupo informacija“. Nuo 1986 m. – Lietuvos katalikų religinės šalpos ir Lietuvių informacinio centro pirmininkas, 1991 m. – Pasaulio lietuvių katalikų sąjungos dvasios vadas.

Dėl garbaus amžiaus pasitraukęs iš aktyvios veiklos, 2003–2009 m. P. A. Baltakis gyveno Niujorke ir vadovavo labdaros organizacijai „Lietuvių katalikų religinė šalpa“, kuri teikė paramą Lietuvos nevyriausybinėms organizacijoms, katalikiškai spaudai. Pastaruosius metus vyskupas emeritas P. A. Baltakis reziduoja šv. Antano pranciškonų vienuolyne Kenebunkporte (Meino valstija, JAV), kur leidžia senatvę.