Su primer campo de acción pastoral fue la Parroquia San Isidro, Paquishapa o Urdaneta. En 1924 Mons. Guillermo Harris Morales, cuarto Obispo de la Diósesis de Loja, lo designa capellán de Portovelo, provincia de El Oro. Su obra se centra en la construcción de la Iglesia Matriz, con la ayuda de la compañia norteamericana South American Development.
En lo espiritual organizó diversas congregaciones religiosas a través de las cuales integraba a la iglesia local a manera de una auténtica y gran familia dedicada a la convivencia pacífica en la fe, caridad y solidaridad. En octubre del mismo año es nombrado Vicario Foráneo del Cantón Paltas, Provincia de Loja, por el lapso de 12 años. Su labor se encaminó al desarrollo vial, en ese entonces, paupérrimo. Se procupó también por la ejecución de varias obras de importancia para el desarrollo material, cultural y espiritual del pueblo paltense. En 1946 Mons. Valdivieso marca una tercera etapa al ser designado administrador apostólico de la Diósesis de Loja y, más tarde, Obispo de la misma. Se desempeño como Rector del Colegio La Dolorosa y, en 1950, Rector de la Unidad Educativa Santa Mariana de Jesús. En 1940 el clero, la jerarquía ecuatoriana y sectores sociales, educativos, obreros e institucionales, se alegraron con la celebración de sus Bodas de Plata Sacerdotales. En 1973, alejado de la actividad pastoral directa, celebró sus Bodas de Oro, lo que ocasionó un nuevo motivo para la congratulación de los lojanos.
La generosidad de Mons. Valdivieso Alvarado, registra una acción de nobilisimo propósito social y humanitario a favor de la Unión Sacerdotal de la Diócesis, al hacer la donación de su casa, en donde han funcionado el Centro Nocturno de Alfabetización de Adultos, Centro Materno Infantil Julio Matovelle, el Taller de Corte y Confección Corazón de María y en la actualidad, el Centro Artesanal Unión Católica.