Foi sede de concelho, constituído apenas pela freguesia da sede, até 1834. Nos fins do século IX, apareceu por estas paragens um cavaleiro godo de nome Leopigunus; criou a sua Villa, onde cresceu o pequeno povo denominado de Lobazim. É no século XIII que o nome de Lobazim começa a ser substituído por Castelo, provavelmente decorrente da edificação no morro do hodierno Santuário de N.ª Sr.ª Da Conceição. O concelho foi extinto em 1834 e inserto, ficando a relembrar a jurisdição de outrora o pelourinho datado de 1669.