Punsko senosios katalikų kapinės prie Ožkinių kelio įkurdintos XIX a. pradžioje. 1820 m. pastatytoje koplyčioje 1881 m. palaidotas staiga miręs Punsko bažnyčią statęs klebonas kun. Kazimieras Jonkaitis. Kapinių teritorijoje išsilaikė apie 10 antkapių. Anksčiau kapinės buvo užleistos, akmeninė tvora sunaikinta. 
Kunigas Kazimieras Jonkaitis , Tamošiaus ir Onos Šečkaitės sūnus, gimė 1835 m. Šačkų kaime (dabar Vilkaviškio raj.). Būdamas Punsko parapijos vikaru nuo 1872.01.01 d., pavadavo sergantį kleboną Juozą Šumovičių ir pasirašinėjo civilinės būklės dokumentus. Mirus minėtam klebonui nuo 1874 m. tos parapijos klebonas. 1877 m. pradėjo statyti dabar stovinčią bažnyčią. Jos nebaigė, kadangi 1881.05.02 d. mirė. Paskutinį civilinės būklės aktą pasirašė tų pačių metų balandžio 28 dieną.