Se puede afirmar  como consecuencia de los restos encontrados en el paraje denominado “Fuente del Moro” existió un castillo moruno. En época de dominación musulmana existía un núcleo de población de cierta importancia en la zona. Mas tarde ya a finales de la Edad Media, comenzó a formarse la población en si misma, iniciando su ubicación en la parte alta del pueblo conocida con el nombre de “El Bollizo”. 

Al Norte de la Veguilla de Carabantes y a una distancia de dos kilometros del pueblo, se levantan las ruinas de la Casa de Tobajas que ni fué  palacio, ni casa-fuerte, ni meramente una granja porque de todo participaba. Los señores que ocupaban la morada eran hijos-dalgo, y en la puerta principal de la muralla existieron  dos escudos de épocas muy distintas, pertenecientes el uno al siglo XIII o XIV y el otro a últimos del siglo XVI. 

Ya en el siglo XVI había desaparecido el dominio de los Tobajas y la finca era propiedad del hidalgo Don Diego Valdivieso, puso pleito a los Consejos de la Peña Quiñoneria, la Alameda y Carabantes sobre ciertas franquicias y derechos que le negaban. El 23 de Octubre de 1595 quedó transigido el pleito, reconociendo los Concejos la hidalguía de Don Diego y renunciando éste a otras pretendidas exenciones.

Fue entonces cuando el pueblo llegó a tener 500 habitantes, con su extensa vega de frutales y viñedos, hoy todo ello desaparecido desde hace más de 35 años  por la concentración de tierras, de ahí,  los tinos y bodegas existentes en la actualidad, algunos en ruinas.

En este pueblo el día 27.06.1628 nació y vivió hasta comenzar sus estudios el Venerable Padre Carabantes bautizado con el nombre de pila José Velázquez de Fresneda, hijo de don Bartolome Velázquez y de doña Anastasia de Fresneda, Apostol de Reina de Galicia,  perteneció  a la orden Franciscanos Capuchinos, marchando a Venezuela a predicar y crear misiones capuchinas, estando en Isla Margarita, La Guaira, Zucuyos-Maracaibo, entre otros, posteriormente regresa a España, su destino Galicia; murió  en Monforte de Lemos, el ll de abril de 1694, y su cadáver se halla enterrado  en el Convento de monjas  Franciscanas descalzas de dicha localidad. Se supo con certeza que se hallaba en tramitación del oportuno expediente para la canonización del referido Apostol.