所有者が国籍を持つ国だけが発給する複数の旅行・複数の目的地で有効な現代のパスポートの概念は、20世紀中頃から始まったものである。それ以前は一般的に、どの国からでも誰にも発給することができた。しかしその有効期限は非常に限定されており、通常一回の旅行用であった。ローマ帝国時代には既に形式が出来ており、“この旅行者に危害を加える者は、ローマ皇帝に宣戦したものと看做す”の一文（旅行者の人身保護規定文）が記入されていた。

このように、初期のパスポートは、現代のパスポートというより査証に類似しており、その主な機能は、所有者の身分と国籍を証明するものである。1920年代まで、パスポートは一枚の紙面であった。現在の冊子形式のパスポートは、英国の市販製品に起源を持ち、それは入出国証印のための冊子が入った、パスポート用の小さなポケットを備えた革の小物入れであった。数年後英国政府が、このデザインをコピーした。

パスポート (passport) という言葉は、海港 (sea port) だけでなく、都市城壁の門 (porte) を通過するために要求された中世の文書が起源であると考えられる。中世ヨーロッパでは、かかる文書を、地方当局より誰にでも発給することができ、通常所有者に通過を許可した町や都市のリストが含まれていた。フランスでは、1793年、国内外を問わずすべてのフランス人旅行者に居住地の警察署が発行するパスポートの取得を義務づけている。この制度は1860年代まで続いた。

この時代、開かれた貿易地点であると考えられた海港への移動では、パスポートはあまり求められなかったが、そこから内陸の都市へと移動するには必要であった。初期パスポートは、必ずではないが多くの場合、所有者の身体に関する記述を、20世紀初頭の頃のみであるが写真と共に収容していた。

国内でのパスポート携帯は、西ヨーロッパでは19世紀半ばには廃れた。一方旧ソビエト連邦など、社会主義国では国内パスポートの義務付けが行われていた。日本でも戦時中は「旅行許可証」が発給され、保持していない者は移動が許されなかった。

日本最初のパスポートは、住所、氏名、年齢以外に目、鼻、口、顔など写真が普及していない時代に顔の特徴が明記されていた。

国際民間航空機関（ICAO）の役割

第一次世界大戦の後、国際連盟におけるInternational Conference on Passports, Customs Formalities and Through Tickets（仮訳：旅券、通関手続きと通し切符に関する国際協議会）、後に国際連合の国際民間航空機関（ICAO）が、パスポートのレイアウトと機能についての標準ガイドラインを発行した。これらのガイドラインは、現代のパスポートを大きく方向付けてきた。

ICパスポートの導入

ICAOは偽造防止・利用者の利便性向上のためICパスポート導入を検討し、2005年に国際標準を策定。アメリカ同時多発テロ事件後のテロリズム対策の強化などもあり、各国はICパスポートの導入を進めている。

特にアメリカ政府（アメリカ国土安全保障省出入国管理及び市民権局）は、テロ対策に伴なう入国管理強化の一環として、諸外国にパスポートへのICチップ技術の導入を各国に強力に求めているため、生体認証のための情報などをICチップに記録しようとする動きが起こっている。