Старший брат Лев Александрович Зильбер прославился как известный советский вирусолог, причем по той характеристике, которую дал ему Вениамин Александрович в «Освещенных окнах», перед читателем возникает интереснейший тип человека: «Обладая даром сознательного наслаждения жизнью, он всегда готов был поступиться этим даром для достижения цели… Случай всю жизнь шел за ним по пятам. Это был случай из случаев: его исключительность соблазнительна для романиста». И далее Каверин рассказывает о том, как Лев, поступив на биологическое отделение Петербургского университета, в 1915 году участвовал в общефакультетской сходке, когда нагрянула полиция. Ему удалось бежать; выскочив в коридор, он открыл первую попавшуюся дверь и оказался в лаборатории известного профессора-гистолога А. Г. Догеля, где спокойно пил чай его ассистент, доцент А. В. Немилов. Не произнеся ни слова, доцент накинул на Льва свой халат, усадил его за стол и стал спокойно допивать чай. Вбежавшим в комнату преследователям пришлось принести извинения.
Почти весь день Лев Александрович провел в лаборатории — Немилов не выпускал его, даже когда всё стихло. А на прощание дал книгу на немецком языке, посвященную деятельности желез внутренней секреции. «После встречи с Немиловым, — писал Каверин, — начался новый отсчет времени. Не доцент Немилов, а сама биология, накинув на брата халат, усадила его на всю жизнь за лабораторный стол. Перед взглядом студента, счастливо избежавшего ареста, постепенно, с годами и десятилетиями, стала открываться такая даль, которая не мерещилась самому смелому воображению».
Всего лишь десять лет спустя после того, как гимназист Вениамин Зильбер прислушивался к спорам об Ибсене и Леониде Андрееве, доносившимся из комнаты старшего брата, Лев Александрович стал известным иммунологом, победившим чумную эпидемию в Азербайджане, раскрывшим тайну клещевого энцефалита, одним из основателей советской вирусологии. «Смелость Льва соединяется с даром предвиденья. Ошибки — он шагает через них, он уверен, что девять десятых окажется истиной, которую, если это необходимо, можно и перепрыгнуть» — так впоследствии охарактеризовал Вениамин Каверин своего старшего брата. К судьбе Льва Александровича Зильбера мы еще вернемся.
Брат Давид Александрович, о котором в мемуарах рассказано довольно скупо (причем не в «псковской», а уже в «московской» части «Освещенных окон»), был старше Вениамина на шесть лет, тем не менее он, по воспоминаниям писателя, оказался единственным, кто интересовался в первых классах его отметками. «Он был добр, миролюбив, не очень любил читать и никогда не спорил. В нем теплилось разгоравшееся с годами желание добра — он любил людей и в этом отношении был глубже и сердечнее Льва, не говоря уже о Саше… В нашей сложной, недружной семье он один был связан с жизнью всех сестер и братьев, не говоря уже о родителях — огорчался неудачами, радовался успехам.