1905년 5월 11일(양력 5월 24일)에 돈 강 중류 지역의 작은 마을에서 태어났다. 볼셰비키 혁명과 내전으로 인해 학업을 마치지 못하고 교사, 회계원, 사무원, 저널리스트로 일하다가 1922년에 모스크바로 가서 주택 관리부 회계원이 되었다.
독학으로 문학을 공부하여, 1923년 9월 19일자 <청년 프라브다>에 소품 「시험」을 처음으로 발표했다. 1925년에는 「배냇점」을 비롯하여 자기가 태어난 돈 강 유역을 배경으로 주로 내전의 비극을 다룬 단편들을 발표했다. 그 후 1차 세계대전, 볼셰비키 혁명, 내전에 휩쓸린 돈 강 카자크들의 비극적인 운명을 그린 4부작 <고요한 돈 강>(1928-1940)과 볼셰비키 혁명 이후 농촌의 집단화 과정을 그린 <개간된 처녀지>(1932~1960)를 완성했다. 혁명과 농업 집단화에 대한 불분명한 입장 때문에 출판 지연이나 부분적인 수정이라는 수난을 겪지만 스탈린이 숄로호프의 손을 들어줌으로써 그는 소비에트 문화를 대표하는 작가로 발돋움 했다. 2차 세계대전 중에는 종군기자로 전선을 누비면서 많은 기사를 썼고, 이때의 경험으로 르포 소설 <그들은 조국을 위해 싸웠다>(1943~1969)와 <인간의 운명>(1957)을 썼다. 1965년에 <고요한 돈 강>으로 노벨 문학상을 수상했다.
1932년 이후 공산당원이 된 숄로호프는 현실 정치에서도 큰 영향력을 행사했으며, 1984년 2월 21일 암으로 사망했다.