La primera noticia del puente entre Olivares y Quintanilla data de finales del siglo XV, 17 de febrero de 1494, cuando los Reyes Católicos se interesan por la necesidad de la construcción de dicho puente entre ambas localidades. Anteriormente es Olivares quien hace petición de construcción de dicho puente sin derechos de portazgo ni de cualquier otra índole, contando con el permiso de del Conde de Urueña, señor de la villa de Quintanilla de Yuso. A pesar de eso, en el s, XVIII, sí se cobraron derechos de portazgo Las obras comienzan en 1512, se prolongan en el s. XVI y no concluyen hasta 1626. El puente convierte a Quintanilla en centro estratégico por las comunicaciones entre orillas donde se localizan enclaves tan importantes como el Monasterio de San Bernardo y Retuerta.
Desde los ojos del puente cuatro siglos nos contemplan, testigo de crecidas como la de 1626 que arruinaron otros puentes sobre el Duero quedando este en pie, en 1812, Wellington vuela un ojo del puente en su estrategia contra los franceses, lo que fue aprovechado por Josef Diego, vecino de Quintanilla, pone una barca por encima de la pesquera, para cobrar a su antojo a todo aquel que quisiese pasar de un lado a otro, entre 1812 y 1817, cuando el Intendente de Valladolid, establece un arancel al tal Josef Diego. En 1826 el puente sigue sin repararse y no hay paso de barca, y Quintanilla y Olivares acuerdan poner una barca entre ambas orillas. En 1875 el puente parece estar reparado, de la mano del arquitecto Rafael Velasco, y un siglo más tarde, funcionó un bar en la isla del tercer ojo por parte de Quintanilla, hoy ya casi olvidado.