汉初，匈奴很强大，汉朝无力对抗，每每只能忍辱求和。汉高祖刘邦去世后，匈奴单于写信给吕后求婚，汉朝觉得是国家的耻辱。

到汉武帝时，国家经过几十年的休养生息，财力有余，士马强盛。李广、卫青等大将也在抗击匈奴的战役中屡建功勋。在此期间，汉武帝从匈奴俘虏的口中得知，在河西走廊西部祁连山、敦煌一带聚居着两个部落国家——大月氏（zhī）和乌孙，他们与匈奴有着深仇大恨。据说，匈奴攻破大月氏后，曾割下大月氏王的头制成酒具。于是，汉武帝想派人去与他们联络，一起夹击匈奴，以便彻底消除匈奴对汉朝的威胁。张骞便在其后的公开招募中以郎官的身份应募出使，代表汉朝执行这项重要的政治任务。从这个意义上讲，这次向西的交流，其目的并不指向文化，而是因为军事的需要——“断匈奴右臂”。

公元前139年，张骞第一次出使西域。他带着百余名随行人员从长安出发到陇西，不幸在匈奴人的领地被逮住。单于讥嘲他们说：“大月氏在我的北面，你们怎么会想到经过匈奴去联络他们呢？如果我想派使者去南越，汉朝会允许吗？太可笑了。”这一扣就是十年多，张骞在那里娶了匈奴女子为妻，还有了孩子，但他始终保留着汉朝授予他的旄节。终于有一天，他找到了逃脱的机会，与随从堂邑父（甘父，本是胡人，被汉朝俘虏，熟悉匈奴情况，有很好的箭法）继续西行，到了大宛。

大宛国王很早就听说过汉朝的富饶，正苦于没有交往的途径，见到张骞大喜，问他要往哪里去。张骞告知原委，说只要大宛国王能派人将他送至大月氏，日后返回汉朝，汉朝必定会给大宛不计其数的财宝。于是大宛派了向导和翻译将张骞送至康居，又由康居转送至大月氏。这些地方大致上是今天新疆的西部，加上相邻的哈萨克斯坦、吉尔吉斯斯坦、乌兹别克斯坦，以及阿富汗、巴基斯坦、伊朗的一部分。待张骞历经艰险，终于抵达大月氏，但是，当时的月氏已经西迁到大夏旧地，当地土壤肥沃，物产丰富，生活安定。他们已不想再报匈奴之仇了，也认为自己离汉朝那么远，彼此起不了什么作用，所以对张骞始终没有作出回应。张骞待了一年多，知道不会有结果，只能返回。他想避开匈奴，就从祁连山绕道羌人地区，大概是在青海湖和湟水流域一带，但是因为当时匈奴还占有河西走廊，结果又被匈奴扣留了。这一次经过一年多，单于死了，匈奴内乱，张骞终于和匈奴妻子、孩子、堂邑父一起逃跑，回到长安。

这是张骞第一次出使西域，历时十三年，去时的百余人中，归来的仅两人。这次出使，尽管没有完成预定的使命，但张骞带回许多关于西域的资料，更为重要的是，张骞的这次出使，坚定了汉武帝打通西域外交、经济、文化联系的决心，让汉武帝认识到开发西边疆土的必要性。

此后，公元前119年，汉武帝派张骞第二次出使西域，“赍金币帛直数千巨万”，即带上大量的金币和帛，作为礼品，赏赐给西域的国王、君主，条件是他们必须服从汉朝，派使者到长安来朝拜。果然有一些国家派使者随张骞的使团到长安朝见汉武帝。此后汉武帝不断派使团出使西域，多的时候一年有十几批，形成“使者相望于道”的盛况。这些使团将大批丝绸带到西域，西域的葡萄等物产也被引进中原。

公元前60年，西汉在今新疆轮台境内建立西域都护府，西汉从此正式在西域设官、驻军、推行政令，开始行使国家主权，这就是《汉书·郑吉传》中所称的“汉之号令班西域矣”。西域正式纳入西汉版图。