在日本生活的4年多時(shí)間，母親的工作亦不輕松。除了照顧父親，她還要照顧4個(gè)男孩的起居（包括前房母親——我們稱為莫氏母親所生的3個(gè)哥哥，加上母親潘氏自己所生的四哥），別的不說，光是做衣服、鞋襪，就有忙不完的工作。當(dāng)時(shí)雖有一男仆、一女仆幫忙，仍然要在洋油燈下做到晚上十二時(shí)。

1913年冬，母親生下我，來年冬天她又懷孕在身。1915年3月，父親攜帶全家由日本返回老家掃墓，安排好母親待產(chǎn)后，又帶大哥潛明去日本。1915年7月五弟慈明出生。

父親在日本幫羅振玉整理藏書及古物，學(xué)術(shù)研究的成就是多方面的，有詩(shī)詞、戲曲等，最主要的是對(duì)甲骨文、金文、漢簡(jiǎn)的研究，在當(dāng)時(shí)就有世界性的影響。他既為羅氏工作，生活上自然需要依賴其資助，其時(shí)正值京都百物飛漲，日常費(fèi)用，漸覺不充裕。而羅振玉歷年印書，所費(fèi)甚多，父親不愿再有累于羅氏，欲先返國(guó)。

通過同鄉(xiāng)鄒安先生聯(lián)系，父親得上海英籍猶太人哈同之邀，回上海在哈同創(chuàng)辦的學(xué)術(shù)雜志擔(dān)任編輯之職。1916年，父親攜帶大哥潛明由日本返國(guó)，居住上海愛文義路大通路吳興里392號(hào)。1917年，妹松明出生。

當(dāng)時(shí)在上海，家里人口眾多。母親快生六弟，我已七歲，由三舅帶回海寧，住在外婆家。1919年10月，六弟登明出生。

父親在上海住了10年，主要是幫忙編書、做研究、寫書。

據(jù)蔣君章先生的回憶，上海哈同花園的正式名稱是“愛儷園”，園內(nèi)設(shè)有“倉(cāng)圣明智大學(xué)”。蔣先生說，開學(xué)儀式時(shí)，王國(guó)維先生排列第三——校長(zhǎng)在最前面，其次是教務(wù)長(zhǎng)和王國(guó)維先生等重要教習(xí)。他在小學(xué)讀書時(shí)，即已久仰王國(guó)維先生的大名。

他說，王先生是短短的身體，嘴唇上蓄著八字胡須，瓜皮小帽，綴有紅帽結(jié)，后面拖著一根長(zhǎng)辮子。這是他的特別標(biāo)記。

在上海的這幾年，生活雖然艱難，父親著作卻頗多，漸受國(guó)內(nèi)外學(xué)者的注意。外國(guó)學(xué)者與父親也常相往來。

1918年，父親拒絕了北京大學(xué)校長(zhǎng)蔡元培的邀請(qǐng)，不愿前往北大任教，反而前往倉(cāng)圣明智大學(xué)擔(dān)任經(jīng)學(xué)教授。日本京都大學(xué)有意延攬父親，也遭到婉辭。

1919年4月，羅振玉自日本返國(guó)，父親與伯希和（歐美公認(rèn)的中國(guó)學(xué)領(lǐng)袖、探險(xiǎn)家，也是敦煌盜寶的始作俑者）、羅振玉等在上海會(huì)見，論學(xué)為樂。日本人狩野直喜將他從倫敦大英博物館錄得的敦煌殘卷數(shù)篇，提供給父親，父親因此得以發(fā)表許多有關(guān)敦煌殘卷的文章。當(dāng)年10月，父親開始為烏程蔣汝藻編撰《藏書志》，其后又為《浙江通志》撰寫文章，生活相當(dāng)忙碌。

1921年，北京大學(xué)再度托請(qǐng)馬衡代邀父親前往擔(dān)任文科教授，不知何故，父親再度拒絕。或許當(dāng)時(shí)父親仍為蔣汝藻編寫《藏書志》吧。一直到1922年年初，父親才答應(yīng)擔(dān)任北大研究所國(guó)學(xué)通訊導(dǎo)師，不必前往北京任職，可以在上海繼續(xù)編書寫作。