Первым его произведением был роман из жизни персидских армян под названием «Салби». В 1858 году он стал печатать свои стихотворения в журнале «Арцив Васпуракани» («Орел Васпуракана»), издававшемся в Варагском монастыре близ г. Вана известным политическим деятелем и писателем, впоследствии католикосом всех армян Мкртичем Хримяном. Затем Раффи устанавливает связь с журналом «Юсисапайл» — «Северное сияние», — издававшимся с 1858 года в Москве (на армянском языке) профессором Лазаревского института восточных языков С. Назарянцем, и вскоре становится сотрудником этого журнала. В журнале этом принимали участие передовые деятели армянской литературы 60-х-годов — М. Налбандян, Р. Паткапян и многие другие. В 1860 году Раффи помещает в «Юсисапайле» большую статью под названием «Ахтамарский монастырь» на тему о национальном просвещении.
Живя в Персии, Раффи внимательно изучает жизнь различных кругов населения. Изучение это дало ему обильный материал для повестей, рассказов и очерков из персидской жизни.
В 1870 году Раффи переселяется в Тифлис; его влечет туда культурная обстановка. События 60-х годов общественно-политической жизни России нашли отклик в среде новой армянской интеллигенции, значительная часть которой проживала в Тифлисе. Революционно-демократические идеи русских шестидесятников, Чернышевского и Добролюбова проникли в среду молодой армянской интеллигенции. В роли связующего звена между русскими революционными демократами и передовой армянской интеллигенцией был Микаэл Налбандян, друг Герцена и Огарева, сидевший одновременно с Чернышевским в Петропавловской крепости. М. Налбандян, великий просветитель и демократ, был идеологом армянской революционно-демократической интеллигенции. Характерно, что Раффи, закончивший в 1857 году свой трехтомный роман «Салби», посвятил его М. Налбандяну. В посвящении сказано: «Всегда благословенной памяти бессмертного Микаэла Налбандяна с глубоким почитанием».
Жизнь Раффи в Тифлисе была нелегкой; он еле перебивался уроками и даже служил в магазине готового платья. В 1872 году в Тифлисе начинает издаваться газета «Мшак» («Труженик»), Раффи был приглашен сотрудничать в газете и очень скоро сделался активным участником этого издания. Очерки Раффи о Персии, разного рода критические и публицистические статьи, повести и рассказы и, наконец, романы вскоре создали ему популярность и содействовали успеху газеты среди читателей.
С самого начала своей литературной деятельности Раффи живо интересовался вопросами политического положения армян. Последователь армянских просветителей-шестидесятников, Раффи был поглощен вопросом о судьбе армянского крестьянина. В романе «Хент» он изобразил борьбу армянского народа за освобождение от султанского ига. Руководителями в этой борьбе выступают представители интеллигенции. В будущей Армении, как рисуется одному из героев этого романа, установится коллективная сельская община. Однако общество остается классовым.