南京「九．九」簽降儀式舉行後，各戰區和方面軍便開始陸續接受日軍駐該地區部隊繳械投降。
9月13日國民黨陸軍總司令部下達了誠字第三號訓令，對駐華日軍與日僑的管理做出如下規定：
一、日本官佐士兵之眷屬，應與日僑之眷屬及僑民集中於指定地區。其中集中地區在南京，由新編第六軍軍長廖耀湘中將指定。其他各受降地區，則由各受降官指定之。
二、日本營妓與歌女等，須集中於另一指定地區。
三、(略)
四、中國戰區內所有日本官兵，除擔任警戒或勤務公差者外，茲規定每日午前六時以前，及午後八時以後為留營時間。在此時間以內，不得外出。日僑每日留居所時間，與日本官兵同。南京地區自九月十七日起實行。
五、六、七、八、(略)
九、駐華日本官兵及僑民返國日期，因需船隻過多，難予確定。各集中地，准由日人構筑房舍，並須為準備冬季服裝。
分布在各戰區大、中、小城市以及縣城的日俘集中營，由於居住條件與周圍環境不同，不免面貌各異形式多樣。日俘們的生活與集中營的條件有直接的關係。走運者可以在尼姑庵中獨居一室，優哉游哉，甚至有幸在蔣介石的別墅中「安營紮寨」；不走運者，只有白手起家，現蓋房屋，或擠在陋家中等待歸期。然而，至於能住進什麼樣的集中營，日俘們只有聽天由命。
他們已歸心似箭
9月以後，駐紮在北平周圍的日軍坦克三師、獨立二旅、獨立八旅先後開進市區集中。一些不明真相的市民看到大批日軍持槍列隊而來，一輛接一輛的坦克隆隆駛過大街，有的坦克，炮口還裸露在炮衣外面，以為日軍又要打仗，一面大叫： 「鬼子進城了!」一面嚇得轉身逃走，引起了另一些看熱鬧市民的哄笑。不過絕大多數市民都知道，這些日軍是來市區集中繳械投降的。
國民黨第十一戰區長官司令部於受降後統計，集結在北平的日軍共57000餘人。同屬該戰區受降的人共51000餘人，太原、石家莊兩地共64000餘人，總計173000餘人。
當然，這個數字並不精確。一部分日軍在向北平集結時，因種種原因受阻，很長時間後才到達市區。有的日軍到達市區後，又伺機逃往其他地區。而據北平日僑居留民團負責人石川說，中國軍方有通知，凡在北平與中國婦女結婚的日軍，可以解甲為民，部隊的人數也因此有所減少。
北平的日俘集中營設在西苑和豐臺等地。通州的國民黨軍換防後，也設立了日俘集中營。
日俘們自有組織，叫做「聯絡委員會」。自設正、副主任。西苑日俘集中營的聯絡委員會主任名叫赤穗津，副主任名叫高橋韌。凡是與日俘管理處商洽什麼事情，都由他們出面。
日俘們對所有到集中營參觀訓話的中國人都畢恭畢敬。每逢通報某團、某長來到，聯絡委員會主任立即派一些士兵夾道歡迎，並向參觀者敬禮或鞠躬。他們敬禮時，皮鞋跟相擊，發出整齊的響聲；鞠躬則是九十度。令參觀者笑逐顏開。聯絡委員會正、副主任更是注意禮節，中國人進入集中營參觀時，他們如果正穿著襯衫在屋裡與士兵們談話，就會立即穿上軍服出門迎接，並向來者連稱失禮。戰時那種趾高氣揚的神氣已蕩然無存。
由於日俘集中營成立不久，大遣返即告開始，所以營內先前比較擁擠，後來人越來越少，住房也漸覺寬敞。在西苑集中營的一處大房間裡，堆著大批無用的文件資料。幾個士兵一連數日忙著燒燬這些文件，把營房弄得烏煙瘴氣。
日俘們的生活仍然高於中國普通市民。當時，一般中國百姓很難買得起豬肉，而他們則每日都有豬肉供應。廚房剛燒好的白菜胡蘿蔔湯裡，肉片之多，令參觀者感到驚訝。在糧倉裡，堆著他們戰時掠奪來的糧食。按國民黨陸軍總司令部規定，12月份以前，日俘糧食自給，從1946年1月起，由國民黨軍方供給。但倉庫裡的糧食堆積如山，即使吃上半年也吃不完。
在當時，日僑中的技術人員想留在中國工作的不少，但集中營內的日俘已歸心似箭。集中營門前的佈告板上，時有官方貼出的留用技術人員的佈告，上面寫著：「凡思想穩健與特殊技術具有者……」然而，出進集中營的士兵卻視若無睹。一次，國民黨第十一戰區司令長官部想從日俘中徵用十名無線電兵，竟無一人報名。日俘們對徵用者說：
「長官部已經征走了80多個無線電兵，現在你們一個也別想找到。」
遣返開始後，一些人接到去天津塘沽港集中，然後乘船回國的命令時，興奮得徹夜不眠。有時，命令突然下來，要日俘在一兩個小時內出發，他們便連東西也不願收拾，胡亂裹起幾件衣服就走。
日俘們常在夜間接到遣返命令，於清晨出發，步行至火車站，乘車去天津，再由塘沽港乘船回國。離營的日俘一批約數百人至千餘人不等。每有一批日俘離營，營房內便弄得亂七八糟，炕上、地上滿是衣服鞋襪，包裹箱篋、紙片菸蒂……與他們戰時闖入百姓家翻箱倒櫃搶劫後的情形頗為相似。而一有日俘離營，對門日僑集中營的男女日僑便過來打掃他們的棄物，哄搶之事不斷發生。
留在集中營裡的日俘，常常拿著一些零星用品出外換東西。圍著鐵絲網的集中營外面，聚集著許多賣香菸、瓜子、花生、柿子的小販，他們有時憑一包香菸就能換到日俘的一件半新的襯衫，甚至一雙質地良好的軍用皮鞋。更多的日俘則將衣物或日用品從牆洞裡塞給鑽進鐵絲網的小販，從他們手裡換取零食。
上述做法，管理人員是禁止的。但偌大一個集中營，只有18個國民黨兵看守，實在無法顧及。
有的日俘則將無用也換不來東西的物品在營中燒燬，弄得集中營內時常飄著刺鼻的焦臭味兒。
剛進入集中營時，日俘們以為要在營內過冬，便積極修理門窗，堵塞牆縫。但很快就有人被通知回國，剩下的人也就失去了積極性。即使是聯絡委員會主任命令大家修理，他們也懶得動。入冬以後，日俘們自製火爐，將汽油桶外敷上泥，沒有煤，就在裡面燒木柴或木炭，營房內倒也被烘得暖暖和和。
每一批日俘離營回國，都要在臨走之前集中起來，由日俘日僑管理處派人前往訓話，要他們做沉痛的回想，深刻的反省。並訓導說，什麼樣的日本人才能適合於未來世界。訓話期間，訓話者若出現「你們說是不是啊?」之類的問語，日俘們便一齊高喊：「嗨咿!」聲音洪亮整齊，震動整個營房。有的日俘在記者提問時回答說：「儘管中國人沒有對我們報復，但是我們的心靈永遠不會安寧，我們手上的血永遠洗不乾淨……」說話時，表現出一種發自內心的真誠的懺悔。
由美軍管理的日俘集中營
在天津地區負責受降的部隊是美國海軍陸戰隊第三軍團。蔣介石之所以下令將天津地區的受降權交給美軍，其目的是為了讓美軍替國民黨軍有力地控制天津的塘沽港。
美第三軍團與第十一戰區司令長官部抽出人員，共同組成了一個中美聯合日俘管理處，具體負責日俘日僑的管理與遣送工作。
由於一時無法有足夠的住房收容這些日俘，中美聯合管理處對於日俘的管理並不很嚴。而日俘們對美軍的態度也和對中國軍隊一樣，是十分恭順的。
其實，那些日俘對美軍的恭順態度只是表面上的，他們內心對美軍的仇視程度要在對中國軍隊之上，因為是美國的陸海空軍攻佔了日本本土。而一些戰友慘遭日軍屠殺的美軍官兵，自然也難以對日俘「寬大為懷」。因此，美軍士兵酒後毆打戲辱日俘的事件不斷發生。
駐天津日軍戰前在津郊開設了一所碾米廠。日本投降以後，中美聯合日俘管理處命令一部分日俘繼續經營這座糧食加工廠，並將加工好的大米分別運往其他日俘日僑集結地去。
中美日俘聯合管理處對天津日俘的管理工作，與其他地區略有不同。美軍改變了日軍原來的部隊建制，將100名日俘編為一個小隊，三個小隊編為一個中隊，三個中隊編為一個大隊。各級隊長由日軍士兵選舉軍官擔任。
住在蔣介石別墅裡的日俘
湯水鎮距南京城南70餘里。日軍繳械投降後。駐南京和蚌埠的一部分日軍，共6400餘人，被集中在此地。這些日俘按部隊兵種分住在四個地方，其中有步兵教育隊、炮兵教育隊、下士官候補隊和經理部下士官候補隊。
日俘每天的糧食定量是17兩米、8兩面、16兩菜。他們自己種菜，自己油印小報《陣中新聞》。當然他們現在已經不在陣中而是在集中營裡了。
日俘患病後，輕者在營房裡休息，重者則可住進傷病兵收容所。那裡的伙食比集中營要好，醫藥治療也很及時。病房裡打掃得很乾淨，每一張病床旁的小櫃子上，都放著一隻啤酒瓶，瓶中插著盛開的菊花。
湯水集中營的日俘還有一個得天獨厚的條件，那就是每隔幾天，便可集中去洗一次溫泉浴。這對喜歡洗澡的日本人來說，的確是一大樂事。
有一部分日俘被調去修南京至湯山的公路。這些日俘幹活很賣力，中國守軍撥給他們一部卡車，專門往返運送修路的日俘。他們在幹活期間，一見到國民黨軍的汽車開來，便老遠就排好隊，立在路旁，待汽車經過時，便恭恭敬敬地行禮。在街上採買的日俘，見了中國官兵，也叭地一個立正，站得筆直，向他們致敬。
湯水鎮日軍集中營休息所，是戰前蔣介石的別墅。當中國軍政官員或記者前來參觀，日俘頭能津澗三便事先率領營內士兵在大門外列隊迎接。休息所客廳裡，懸掛著孫中山和蔣介石的肖像。天棚下交叉掛著兩行盟國的國旗。參觀者每到一個單位，門前均有一班號兵，站立著吹起接官號迎接。
步兵教育隊營房裡，牆上貼著一些日文標語，其中有：「建設民主自由的新日本」、「消滅日本軍閥思想」等。
上海日俘集中營
在大遣返之前，集中在上海繳械的日軍共有68000餘人。集中營分別設在江灣、吳淞一帶。
這批日俘繳械後，便奉中國軍方之命，開始自建集中營營房。日俘們為了盡快有一個藏身之所，幹活十分賣力。9月的上海，天氣還很熱，日俘們有的穿著襯衣汗衫，有的乾脆赤膊，在烈日下運輸磚瓦水泥，砌牆造屋。他們一個個晒得黑紅油亮，脖子上搭著一條毛巾，用來揩擦如雨的汗水。軍官如不下令休息，他們決不偷懶。
營房初具規模後，大批原先露宿的日俘便住了進去。
集中營的生活緊張而有規律，上午5時30分起床，盥洗、早餐，然後按各自的分工，或繼續做一些營房的掃尾工程，或干其他勞動。總之，均不會閑著。下午則大部分時間開展娛樂活動，或打籃球，練單雙槓，或下棋讀報。黃昏時，各種活動一律停止。晚上9時，熄燈就寢。
日俘的伙食，與中國軍人相同，副食費無論官兵，每人每天80元(偽幣)。由日俘管理機關支付。日俘的衣著，仍然是原來的軍裝。
