Gemini viene nominata negli annali della Storia come residenza e possesso dei Vescovi di Ugento già nel 1276: infatti il Vescovo di Ugento sino all’Ottocento era anche Barone di Gemini e di Pompignano.

Tra il 1517 ed il 1528 la Diocesi di Ugento venne retta da mons. Andrea Pastore, e su impulso dello stesso in quegli anni inizia la costruzione del Palazzo Vescovile, che doveva sorgere nei dintorni dell’attuale Piazza Regina Elena: concepito come una vera e propria fortezza, dotato di mura, ampi scantinati, torrette di avvistamento ed altre opere di difesa, cessa di essere abitato dai Vescovi già nei primi anni del Settecento. Nel Catasto Onciario di Ugento del 1745, elenco degli abitanti, delle famiglie e di ciò che possedevano nel territorio, viene menzionato come frantoio oleario e non più come sede vescovile. Oggi rimane ben poco di esso: qualche spessa parete e qualche stemma dei vescovi che lo hanno abitato.

Gemini is mentioned in the annals of history as the residence and possession of the Bishops of Ugento as early as 1276: in fact, until the nineteenth century the Bishop of Ugento was also Baron of Gemini and Pompignano.
Between 1517 and 1528 the Diocese of Ugento was governed by Msgr. Andrea Pastore, and at his instigation in those years, began construction of the Bishop’s Palace, which was to be built near what is now Piazza Regina Elena: conceived as a true fortress, equipped with walls, large basements, watchtowers and other defensive works, it ceased to be inhabited by the Bishops as early as the early eighteenth century. In the 1745 Land Registry of Ugento, a list of inhabitants, families and what they owned in the area, it is mentioned as an olive oil mill and no longer as a bishop’s seat. Very little of it remains today: a few thick walls and a few coats of arms of the bishops who inhabited it.