Según la tradición existió un pueblo a orillas del río Ibor, desde el siglo XIII, que se llamó «La Avellaneda», cuyos restos pueden aún visitarse. Al parecer una epidemia de hormigas que devoraban construcciones, cosechas y animales, obligó al traslado de la población a unos 9 km de distancia, fundándose así el pueblo de Castañar de Ibor en el siglo XVIII. Todos los objetos de la iglesia tuvieron que ser trasladados a la iglesia de Castañar. La Iglesia de «La Avellaneda» se encuentra conservada y en perfecto estado, dado que los vecinos de El Castañar de Ibor la mantienen y realizan cada año una romería.
El Cristo que proviene del abandonado pueblo se llama “El Cristo de la Avellaneda” y cada año se lleva en procesión desde la ermita de San Benito Abad a su antigua Iglesia de «La Avellaneda», procesión que durante el camino se transforma en concurrida romería. Se cuenta como prodigio que se intentó cambiar el camino de la procesión y que El Castañar se llenó de vientos que impedían celebrar la fiesta, hasta que se comenzó la procesión por el camino tradicional.
La romería se celebra en uno de los fines de semana del mes de mayo, dependiendo de cuándo se celebre cada año la Semana Santa y decidido por la Autoridad Eclesiástica Local, de hecho, además, el patrón de Castañar de Ibor el Santísimo Cristo de la Avellaneda se adoptó, lo que demuestra una vez más que es su sede matriz. El día de la romería se lleva hasta «La Avellaneda» y se hace procesión, misa solemne y comida campestre de los romeros, para el a tarde devolver la imagen al Castañar de Ibor.