Hijo de una familia religiosa, nació en Lagos en 1824. Diez años más tarde, inició sus estudios en el Seminario de Morelia, aunque no pudo terminarlos por la mala situación económica familiar. Sin embargo, tres años más tarde pudo retomarlos en el Seminario Conciliar de Guadalajara, en México. Una vez finalizó el grado de bachiller, comenzó la carrera universitaria de Jurisprudencia en la Universidad Nacional de Guadalajara. De sus estudios, pasó a la docencia, obteniendo el grado de doctor en 1851 para después ser designado Catedrático de Derecho Civil y Romano.
Recibió la ordenación sacerdotal en 1848 y fue cura interino del Santuario de Guadalupe, en donde realizó labores auxiliares de ayuda a los feligreses y prestó servicios religiosos gratuitamente. Sin embargo, y durante el conflicto social entre conservadores y liberales, fue acusado de conspirar en contra de los primeros, por lo que tuvo que emigrar de Guadalajara en 1860 y regresar a su ciudad natal. Por esta razón, se suprimió su cátedra de Derecho Civil, lo que le llevó a abandonar la docencia y dedicar la mayor parte de su tiempo a ejercer sus labores sacerdotales, al estudio y a la escritura.
Fue en sus últimos años cuando Rivera obtuvo reconocimientos a nivel provincial y nacional. Además de crear espacios literarios y bibliotecas en su honor, fue nombrado doctor honoris causa en la Universidad Nacional de México, miembro de la Sociedad Mexicana de Geografía y Estadística, de la Academia Mexicana de la Historia y de la Sociedad Médica de Guadalajara. Finalmente, falleció en la ciudad de León en 1916.
Su obra se compone de aproximadamente 157 impresos, la mayoría relacionados con el ámbito eclesiástico o con la jurisprudencia. No obstante, su presencia en la BVFE se debe a Elementos de gramática castellana, en la que el autor pone de manifiesto la importancia de la gramática para conseguir una comunicación eficaz oral o escrita en cualquier situación social. La obra se ocupa de las cuatro partes generales que conforman la gramática: analogía, sintaxis, prosodia y ortografía.