真正接觸說英語的外國人在清朝中晚期，即鴉片戰爭之後，雖然乾隆和康熙都接觸過洋人，但這些洋人會說中國話，簡直就是中國通，根本不用翻譯。比如順治的老師湯若望，康熙的洋老師南懷仁，溥儀的洋老師莊士敦。在先人印象中，除了華夏之外皆被視爲番邦和胡人，也就是我們所說的外國人。夏、商、周、秦之前，在皇帝眼中“夷狄”就是外國人，於是找到和夷狄住得很近的邊民充當“翻譯”，邊民熟悉兩邊的語言，彼此說話能聽懂，這種人被稱爲“像胥”。“像胥”是小官吏，薪水也不高，主要工作隨朝廷大臣出使蠻夷閩貉戌狄等國。
(大鴻臚官員)到了漢朝，武帝劉徹征服匈奴，派張騫出使西域，和少數民族交往越來越頻繁，於是專門設立了譯館——大鴻臚。專門管理諸侯王、列侯受封，外國使臣進貢等各項具體事務。到了魏晉南北朝時，各民族進一步融合。具備翻譯這樣的人才越來越多。大鴻臚這個職能部門兒也隨之發生了變化。禮儀和“翻譯”工作逐漸剝離出來。譯員主要從事佛經的翻譯和迎來送往番國使者，向專職翻譯進了一步。比如唐朝時，唐三藏和他的祕書辯機和尚都具有翻譯的能力，二人精通梵文、印度文字。到了宋朝，宋太祖趙匡胤實行“抑武揚文”的國策，文人受到熱捧。由於和金、遼、西夏刀兵相見，有道是：“知彼知己，方能百戰不殆”。宋朝在考試中增加了翻譯女真文，契丹文和西夏文的內容。同時西夏、遼、金也大量培養“翻譯”，以便吸收中原傳統文化。到了元朝，元世祖忽必烈在元大都(今北京)改“大鴻臚”爲“會同館”，用來專門接待藩屬國特使，裏面設有專職口譯官員。
到了明、清兩朝，明太祖朱元璋除了設立會同館，另外還加設了四夷館，此時還恢復了大鴻臚機構，不過只是負責宮廷禮儀，不再承擔翻譯工作。由於清朝是異族入侵中原立國，順治帝對“四夷館”這個名稱很反感，於是改成了“四譯館”。清朝實行的是“閉關鎖國”的政策，從事翻譯的人員並不多。鴉片戰爭後，朝廷只能從官派留學生中選拔翻譯人才。
