Капитан 2-го ранга Есида ловко подвел свой эсминец "Казагумо" к борту горящего "Хирю". Его матросы быстро работали в темноте, выгружая пожарное снаряжение и скромный ужин из сухарей и воды для экипажа авианосца. Эскадренный миноносец "Югумо" также приблизился к "Хирю", подав на авианосец мощные пожарные шланги, переброшенные с крейсера "Тикума". Два других эсминца стояли неподалеку, готовые оказать помощь, если она понадобится. Сам "Хирю" покачивался на волне без хода. Около 21.00 корабль лишился энергии. В машинное отделение No 4 позвонили с мостика и спросили капитана 2-го ранга Айзо, смогут ли механики выбраться наверх. Айзо взглянул на раскаленный докрасна подволок и ответил отрицательно. Тогда наступила пауза, а затем с мостика спросили, есть ли у механиков какие-нибудь последние пожелания для передачи в Японию. Этот вопрос ошеломил старшего механика, приведя его в ярость. Он знал, что обстановка на корабле очень серьезна, но совсем не считал ее безнадежной, полагая, что авианосец вполне может дойти до базы. Со всей горячностью Айзо стал убеждать мостик не сдаваться, хотя и не был уверен, что его слышат слышимость становилась все глуше, а затем пропала вообще.
Какой бы ни была в действительности ситуация в момент этого телефонного разговора, судьба корабля решилась в 23.58. В этот момент что-то со страшным грохотом взорвалось внизу. Огонь, уже почти затихнувший, вспыхнул опять, распространяясь повсюду и выходя из-под контроля. Это поставило младшего лейтенанта Каваками перед необходимостью принять важное решение. На авианосце Каваками служил интендантом, и на время боя на него падала тяжелейшая ответственность - он назначался хранителем портрета императора. Обычно портрет висел в каюте командира, но перед боем его клали в специальный полированный футляр и уносили в хронометрическое помещение под броневой палубой. Считалось, что здесь портрет будет находиться в полной безопасности. Ведь никто не мог даже подумать, что придется оставить корабль. Каваками уже не мог связаться с мостиком и решил действовать самостоятельно. Терять время уже было нельзя. Взяв подчиненного ему старшину, Каваками пробился через пламя в хронометрическое помещение. Старшина завернул футляр с портретом в брезент, затем они вместе со своим сокровищем снова пробились через огонь на полетную палубу, где Каваками почтительно передал портрет Микадо на эсминец "Казагумо".
К этому времени авианосец уже накренился на 15°, вода постоянно прибывала. Никто не мог сказать, сколько еще корабль продержится на воде. В 2.30 ночи 5 июня капитан 1-го ранга Каку повернулся к адмиралу Ямагути и доложил: "Мы собираемся оставить корабль, адмирал".