Что-бы добавить свою иконку в Pygame, нужно в свою папку положить картинку иконки (Может называться на русском, иметь в названии нестандартные символы, окончиваться ".jpg", я советую назвать "icon.png".), а в коде написать:

pygame.display.set_icon(pygame.image.load("название файла))

Ну наслаждайся.