Falls du Zugang zu MATLAB hast (oder bereit mist, dir das als trial zu installieren) gibt es dafür schon was fertiges:
https://de.mathworks.com/help/images...ndcircles.html
Hough-Transformation ist das richtige Stichwort, aber selber machen muss man das heutzutage eigentlich nicht mehr