После возвращения в Россию Граф служил на крейсере «Аврора», затем привлекался для приема новых миноносцев, построенных во Франции; с 1906 года находился на эсминцах балтийской Минной дивизии, исполняя обязанности вахтенного, а затем – старшего офицера. В 1907—1908 годах прошел обучение и успешно окончил Минный офицерский класс. В период обучения произведен в лейтенанты. В 1908 году последовательно занимал должности старшего офицера на эскадренном миноносце «Трухменец» и младшего минного офицера на крейсере «Адмирал Макаров». Во время похода в Средиземное море принимал участие в спасательных работах после землетрясения в Мессине. 1 мая 1909 года назначен старшим минным офицером на минный заградитель «Амур». На этом корабле сумел наладить четкое действие системы постановки мин заграждения и подготовить должным образом личный состав, заслужив самые лестные отзывы непосредственных начальников. После этого Г.К. Граф преподавал в Минной школе и работал в Николаевской военно-морской академии.
С 11 августа 1914 года – младший минный офицер эсминца «Новик». В 1915 году Г.К. Граф был назначен старшим минным офицером и получил чин старшего лейтенанта, а в следующем году стал старшим офицером «Новика». Участие Гаральда Карловича в боевых действиях отмечено наградами: орденами Святого Станислава 2-й степени с мечами (1914), Святого Владимира 4-й степени с мечами и бантом (1915), Святой Анны 2-й степени с мечами (1916).
В феврале 1917 года назначен флагманским минным офицером штаба начальника Минной обороны и вскоре произведен «за отличие» в чин капитана 2-го ранга. Вскоре после прихода к власти большевиков покинул флот и остался в Гельсингфорсе, став гражданином Финляндии. Гаральд Карлович принял некоторое участие в белой борьбе на Северо-Западе, после поражения Юденича вслед за великокняжеской семьей Кирилла Владимировича Г.К. Граф перебрался в Германию. Там он издал свои воспоминания о службе в русском флоте и вскоре занялся писательской деятельностью.
В эмиграции принял православие и получил имя Георгий. В 1924 году Георгий Карлович Граф становится начальником канцелярии и личным секретарем великого князя Кирилла Владимировича, который обнародовал манифест о принятии им императорского титула. До начала Второй мировой войны он состоял при великом князе; в 1930 году Графу было присвоено звание капитана 1-го ранга, а в 1939 – контр-адмирала. 23 июня 1941 года Г.К. Граф был арестован гестапо во Франции и на 14 месяцев помещен в концлагерь «Фронтсталаг» под городом Компьен. После окончания войны Георгий Карлович поселился в США, где скончался 11 октября 1966 года. Но вернемся в февраль 1917 года.