Từ tháng 10 năm 1948 đến tháng 12 năm 1950, ông làm liên lạc đơn vị 75 bộ đội địa phương Hà Tĩnh.

Đến tháng 1 năm 1951, chuyển sang công tác hành chính tại thị xã Hà Tĩnh.

Sau năm 1954, ông là Ủy viên Thường trực Ủy ban nhân dân thị xã Hà Tĩnh.

Từ tháng 4 năm 1956, ông làm Trinh sát chính trị Công an tỉnh Hà Tĩnh và Công an Liên khu IV.

Đến tháng 11 năm 1962, ông là học viên lớp đào tạo đặc biệt về nghiệp vụ an ninh tại Trường Công an Trung ương (nay là Học viện An ninh Nhân dân).

Từ tháng 9 năm 1965 đến năm 1978, ông được biệt phái công tác tại Bộ Ngoại giao.

Từ năm 1979, ông công tác tại Bộ Nội vụ giữ các chức vụ: Phó phòng; Cục phó A13 (đến tháng 6 năm 1981); Cục trưởng Cục A13 (đến tháng 2 năm 1988); Phó Tổng cục trưởng Tổng cục An ninh, kiêm Cục trưởng Cục A13 (đến tháng 10 năm 1988); Quyền Tổng cục trưởng Tổng cục 5 (đến tháng 6 năm 1989).

Từ tháng 1 năm 1990, ông được giữ chức Tổng cục trưởng Tổng cục 5 Bộ Nội vụ; được phong quân hàm Thiếu tướng tháng 8 năm 1990.

Từ tháng 02 năm 1991, ông giữ chức Thứ trưởng Bộ Nội vụ, Ủy viên thường vụ Đảng ủy Công an Trung ương;

đến tháng 6 năm 1991, được bầu vào Ban Chấp hành Trung ương Đảng các khóa VII, VIII, IX. Ông được phong quân hàm Trung tướng tháng 12 năm 1992.

Tháng 6 năm 1996, ông được bầu vào Bộ Chính trị các khóa VIII, IX, giữ chức Bí thư Đảng ủy Công an Trung ương, Bộ trưởng Bộ Nội vụ (từ tháng 5 năm 1998 gọi là Bộ Công an) và giữ chức vụ này đến năm 2002.

Ông được phong quân hàm Thượng tướng tháng 1 năm 1998.

Ông là Đại biểu Quốc hội các khóa IX, X, Ủy viên Ủy ban Quốc phòng và An ninh của Quốc hội khóa IX;

Ông được thưởng Huân chương Quân công hạng Ba, Huân chương Kháng chiến chống Mỹ cứu nước hạng Nhất; Huy hiệu 40 năm tuổi Đảng.