함흥교구는 원산대목구와 덕원자치수도원구가 분리되면서 설립되었다. 원산대목구는 원산시를 중심으로 함경남·북도 전역을 관할하던 대목구(vicariatus aspostolicus)로 1920년 8월 5일 경성 대목구(현 서울대교구)에서 분리·설정되었으며 독일의 ‘베네딕도회 오틸리엔 연합회’(Congregation of St. Ottillien O.S.B, 芬道會)가 사목을 담당하였다.

1909년 2월 한국에 진출하여 서울 백동(柏洞, 현 혜화동)에서 활동하던 베네딕도회는 그 해 말 서울 백동(柏洞, 현 惠化洞)에 수도원을 건립하고, 실업학교인 숭공학교(崇工學校)와 사범학교인 숭신학교(崇信學校)를 설립하는 등 의욕적인 출발을 하였다. 그 결과 1913년 5월 15일에는 수도원이 대수도원(大修道院, abbatia)으로 승격되었고 동시에 사우어 원장이 대원장(abbas)으로 임명되었다.

교구 분할 이후, 원산 대목구에서 영흥·고원·북청·흥남·나남·남진 본당 등을 신설함으로써 본당이 모두 12개에 이르게 되었다. 또 1929년 9월부터 대신학교 교육을 시작하였고, 1935년 2월 10일에는 당국으로부터 공식 인가를 받아 이듬해에 최초로 2명의 사제를 배출하였다. 한편 원산 수녀원은 각처에 분원을 설립하고, 시약소 사업과 교육 활동을 확대해 나갔다. 이러한 과정을 거쳐 원산 대목구의 교세는 1940년에 12개 본당에 신자수 11,064명에 이르게 된다.

1940년 1월 12일, 교황 비오 12세(1939~1958)가 원산 대목구를 ‘덕원 자치수도원구’와 ‘함흥 대목구’로 분리하였다. 이로써 덕원 자치수도원구는 원산시를 포함한 안변·덕원·고원·문천군을 사목 지역으로 하는 독립 수도원(abbatia nullius) 구역으로 지정되어 원산·덕원·고산·고원 본당 등 4개의 본당을 관할하게 되었고, 함흥 대목구는 회령·청진·함흥·영흥·북청·나남·흥남 본당 등 10개 본당을 관할하게 되었다.
그러나 1948년 이후 함경도 지역 교회는 북한 공산 정권에 의해 박해를 받으면서 침묵의 교회가 되었다.

함흥교구에 존재하는 침묵의 본당은 함경남도 4개, 함경북도 6개로 총 10개가 존재 한다. 교황청은 춘천교구장을 함흥교구장장 서리에 임명하여 침묵의 교회를 위한 기도와 교회의 복원의 임무를 부여하였다.