El primer nombre al que se hace referencia históricamente y con el que fue conocido el pueblo era el de Chozas del Arroyo. Fue en esos tiempos, en 1352 cuando el municipio tuvo a su Primer Señor, Diego Gómez de Toledo, el cual, con el favor del Rey Pedro I, pobló estas tierras con ochenta hombres y mujeres.
Es muy probable que fueron las primeras cuadrillas de labradores que enviara el rey Pedro I de Castilla, quienes construyeran los molinos hidráulicos de la zona de los arroyos, cambiando su denominación a la de Arroyo de los Siete Molinos, para finalizar en su nombre actual: Arroyomolinos.
De raíces profundas es la historia de Arroyomolinos. Romanos y Visigodos, ocuparon estos parajes hasta que llegara la época de la Reconquista.
El señorío pasó a manos de Inés de Ayala, para continuar hasta llegar a Juana Enríquez, esposa de Juan I de Navarra y II de Aragón y madre de Fernando el Católico.
Durante el reinado de Enrique IV de Castilla, este entregó los terrenos a Alvar Gómez de Ciudad Real, a Juan Fernández Galindo, a Pedro López de Ayala, todos destituidos por traición por participar en la Guerra Castellana de los Trastámara. Fue así como finalmente, Enrique IV se lo entrego a Juan de Oviedo.
Por otro lado, Fernando de Aragón, que heredó la propiedad de Casarrubios y de Arroyo de los Molinos emitió una carta en 1469 en la que concedía el Señorío a Gonzalo Chacón como hombre fiel de los Reyes y por sus servicios prestados en las negociaciones secretas para el casamiento con Isabel de Castilla.
Una vez fallecido Enrique IV, y reinando su hermana, Isabel de Castilla, junto con su esposo, Fernando de Aragón, otorgaron la villa de Arroyomolinos con una merced en 1475 a su contador mayor, Gonzalo Chacón, quien solicitó recuperar sus nuevos dominios ocupados por Juan de Oviedo y terminó las obras del Torreón.
El Señorío de Arroyomolinos continuó perteneciendo por herencia y linaje a los descendientes de la familia Chacón, los cuales, Felipe III le concedió a Don Francisco Chacón, tras ocupar el puesto de Asistente Real de Felipe II en Sevilla, el título de Conde de Casarrubios y que además tenía el señorio de Arroyomolinos, el cual tuvieron hasta la segunda mitad del siglo XVII. A partir del siglo siguiente, el territorio pasó por herencia a la Casa de Montijo, a través de Cipriano Palafox y Portocarrero. De los descendientes de este, el condado llegó hasta la Casa de Alba.
