在黃河流域的漢人發展了世界最古老文明之一，並自古以來有自己的文字，從中國留下的文字文物裡屢次記錄北方居住粗野的遊牧民族並經常侵犯中國，漢人把他們通通叫做『胡』，其中分別匈奴及東胡。當中國處於春秋戰國，相對遊牧民族還沒有進入有政治制度的組織，是由各部族所組成，春秋戰國各國為了防止遊牧民族的入侵，在他們領地北面建築一段段要塞。西元前221年秦朝統一中國，秦始皇命令蒙恬把過去各國一段段的要塞連接起來，就完成萬里長城，主要避免匈奴的騷擾。西元前214年蒙恬把匈奴驅趕出了鄂爾多斯地區(線在內蒙)，而匈奴在頭曼單于的帶領下，開始向其他地區擴張，開始進攻月氏(甘肅西部)。頭曼單于的兒子冒頓單于殺父後繼位，擊敗東部的東胡。並趁秦漢交替之際，入侵山西，圍攻太原，漢高祖劉邦御駕親征，匈奴人在這一場戰役中大獲全勝，將劉邦圍困在平成附近的白登山，經過談判，才得以解圍。剛剛建立的漢朝，賠了公主又折兵，除了犧牲實質的利益以外，還被迫與冒頓單于聯姻，進行和親政策安撫匈奴。

面對萬里長城的防線，自主的遊牧民族在冒敦單于領導下，建立歷史上叫匈奴的強大國家，西元前209年蒙古領土上第一個統一國家。匈奴人是蒙古人還是突厥人還沒有得到一致的答案，不過，歷史上曾有匈奴、突厥、契丹、蒙古帝國、金蓬汗國、阿瓦爾國、烏斯曼帝國、遼國、鐵木爾汗國、及現有的蒙古國、哈薩克斯坦、吉爾吉斯坦、土耳其、阿塞拜疆、土爾克斯坦都是第一個遊牧民族國家匈奴的直接繼承人。

中國進入漢朝強盛時期，西元155年，在鄂爾渾河流域的北匈奴被鮮卑部落所降伏，鮮卑人主要在蒙古與邊境的興安嶺，並對中國發動攻擊，卻被曹操所擊潰。三世紀拓拔部族脫離鮮卑統治，並攻占中國北部，但逐漸被中國同化。匈奴400年歷史，之後分南北二部，於是被中國和東胡消滅。

五世紀初東胡後裔柔然興起，統治從喀爾沙爾到朝鮮的土地，他們第一次使用可汗的稱號。歷史學家認為他們是蒙古族人，當時中國進入輝煌時代唐朝統治，柔然之後被突厥打敗西逃，融入歐洲，在歷史上被稱阿瓦爾人。

在成吉思汗之前，發動規模做大的戰爭是突厥人，到七世紀突厥是世界最強國家，它們往西延伸到現在土耳其，突厥也被視為土耳其的祖先，後來很多國家聯合攻擊並消滅突厥帝國，回紇王國接收突厥人留下來的空間，它們首府哈拉巴拉格蘇遺址在鄂爾渾河河畔被發現。

西元840年它們被葉尼塞河南下的吉爾吉斯人消滅，吉爾吉斯人在中亞占有主要地位，不久被蒙古族契丹驅趕到帕米爾山脈，從此以後，蒙古族人開始單獨統治蒙古的土地。契丹人強壯之後攻進長城以南地區，以北京為首府(前燕)，後來隨時間逐漸被漢化變成中國歷史上的遼國。