明治6年10月に大倉喜八郎が資本金15万円をもって大倉組商会を創立し、機械などの直輸入貿易をおこすとともに諸建造物の造営などに当たったのが、当社の起源である。
明治20年3月大倉喜八郎は渋沢栄一氏、藤田伝三郎氏と相はかり、資本金200万円をもって有限責任日本土木会社を設立して、上記大倉組商会の業務の内、土木関係に関するものを分離しこれを継承した。これが当社の前身であり、叉わが国における会社組織によった土木建築業のはじめである。
明治25年11月有限責任日本土木会社は解散し、その事業を大倉喜八郎単独経営の大倉土木組に継承した。
明治44年11月大倉土木組は、株式会社大倉組に合併され株式会社大倉組土木部となった。
大正6年12月株式会社大倉組より分離して資本金200万円の株式会社大倉土木組となり、ここに当社が名実ともに誕生した。
大正9年12月、日本土木株式会社と改称。大正13年6月、大倉土木株式会社と改称。
昭和21年1月、大倉土木株式会社を廃して大成建設株式会社と改称。