第一次路過上海
愛因斯坦乘日本船「北野丸」於1922年11月13日上午10時到達上海，在上海當時的匯山碼頭登陸。到碼頭迎接愛因斯坦的，有德國和瑞典駐上海總領事、中國學者、日本改造社代表，還有一批中外新聞記者等。進入市區後，有關團體在上海「一品香」餐廳設宴招待愛因斯坦夫婦，繼至上海「小世界」聽昆曲，以後又游賞了城隍廟、豫園和主要街道。據說，當愛因斯坦走進上海南京路時，上海青年學生高興得用雙手把他抬起來。愛因斯坦夫婦於次日 14日 凌晨仍乘原船往日本，於11月17日抵達神戶。
據當時報刊報導，中國人看到的愛因斯坦是這樣的形象他「是一個相貌和藹的紳士，看起來更像一位鄉村牧師，而不像是發展了顛覆世界的而且從世界上最偉大的科學家手中得到諾貝爾獎的人。他穿著很普通的黑色衣服 －－一件禮服，帶了一條黑白相間的領帶，這和他的鬍子很相配。他有著一頭短而濃密的灰色頭髮，就像是一頂紙制的王冠，有的地方被壓扁了。他還有一雙棕色的炯炯有神的眼睛。他說起話來，聲音溫柔，根本沒有經常能夠在德語中聽到的刺耳的音調。」
愛因斯坦此次到上海，引起中國人對相對論的極大興趣。北京、上海、南京各大學也一一發出講學邀請。愛因斯坦本人不僅在宴會上欣然接受了這一邀請，而且在和其他人的談話中也一再明確表示，準備應邀到北京、南京各大學講演，還擬在上海講演二三次，因此，希望離滬早去早回，表示在日本「逗留7個星期之後即來中國」。
第二次路過上海
1922年12月27日，愛因斯坦從日本門司乘「榛名丸」船離日回歐洲。於12月31日上午11時到達上海。很多人到上海碼頭迎接愛因斯坦，令愛因斯坦「應接不暇」。
愛因斯坦這次到上海後，住在當時上海的杜美路9號。他應上海猶太青年會和學術研究會邀請，1923年1月1日下午3時，在福州路17號公共租界工部局禮堂講演相對論。中國的一些學者參加了這次講演會。
參加這次演講會的中國學者張君勱是一個虔誠的心靈學者，在愛因斯坦報告後他提問心靈學問題。愛因斯坦答曰 「這是不足道的事」。這個提問，反映了當時中國哲學思想的悲哀。難怪當時許多報紙報導此事時，發出了對心靈學者的責問 「不審吾國人研究靈學者，對於恩氏 即愛因斯坦 又作何感想 」
在愛因斯坦第一次路經上海以後，中國各大學和學術團體都忙於籌集資金，創造條件，以備歡迎愛因斯坦到中國講學。在他第二次路經上海時，也正如當時《新聞報》指出的一樣，「本埠 上海人士甚望更開一歡迎會，俾眾人咸得一聆此名 相對論以宿雅教之念。」但是，愛因斯坦畢竟沒有在中國講學。在他第二次到達上海之前，在1922年12月7日自日本京都寄給當時北大理學院院長、物理學教授夏元瑮(字浮筠)的書信寫道：
「夏博士鑒
今日接來書，甚為欣喜。然予恐不能來北京，對於君之盛意，實異常抱歉。此次在日本，以種種原因，費時太久，游中國、印度之決心，竟不能見諸事實。北京如此之近，而予之夙願，終不得賞，其悵悵之情，君當可想像也。現以要事，急須西歸，不能與君一晤，只能函告一切，君之盛情，敬心領矣。然予甚期望，君不久再來歐洲，吾等仍可會談也。尊夫人之處，亦乞問候。
安斯坦」
愛因斯坦是1923年1月2日11日仍乘「榛名丸」郵船離開上海的。他在埃及塞得港下「榛名丸」，赴耶路撒冷視察新成立的猶太大學，旋赴西班牙，在馬德里大學講演後才回柏林。
愛因斯坦兩次途經上海，總共停留不足三天時間，但他犀利的眼光卻看出當時中國社會的黑暗，歐洲人在這片土地上作威作福，中國勞動者受苦受難;也表現了他對中國的深度同情，他在旅行日記中寫道
「在外表上，中國人受人注意的是他們的勤勞，是他們對生活方式和兒童福利的要求低微。他們要比印度人更樂觀，也更天真。但他們大多數是負擔沈重的 男男女女為每日五分錢的工資天天敲石子。他們似乎魯鈍得不理解他們命運的可怕。」
「(上海)這個城市表明歐洲人同中國人的社會地位的差別，這種差別使得近年來的革命事件 即五四運動－－本文筆注特別可以理解了。在上海，歐洲人形成一個統治階級，而中國人則是他們的奴僕。他們好像是受折磨的、魯鈍的、不開化的民族，而同他們國家的偉大文明的過去好像毫無關係。他們是淳樸的勞動者，……勞動者，在呻吟著，並且是頑強的民族，……這是地球上最貧困的民族，他們被殘酷地虐待著，他們所受的待遇比牛馬還不如」。
以上日記文字是從愛因斯坦的女婿(愛因斯坦第二任妻子的女兒的丈夫)R.凱塞(Kayser)以筆名A.賴塞(Reiser)在1930年所寫的《愛因斯坦傳》中摘錄的。關於這本傳記，愛因斯坦在1931年說 「賴塞的這本書，在我看來，是我的傳記中最好的一本。它出自對我個人生活有很好瞭解的人之手」。
