Старый Януш, встречая Васю, приглашает его заходить в замок, ибо там теперь «порядочное общество». Но мальчик предпочитает «дурное общество» изгнанников из замка: Вася жалеет их.
Многие члены «дурного общества» хорошо известны в городе. Это полубезумный пожилой «профессор», который всегда что-то тихо и грустно бормочет; свирепый и драчливый штык-юнкер Заусайлов; спившийся отставной чиновник Лавровский, всем рассказывающий неправдоподобные трагические истории о своей жизни. А именующий себя генералом Туркевич знаменит тем, что «обличает» почтенных горожан (исправника, секретаря уездного суда и других) прямо под их окнами. Это он делает для того, чтобы получить на водку, и достигает своей цели: «обличаемые» спешат откупиться от него.
Руководитель же всего сообщества «темных личностей» – Тыбурций Драб. Его происхождение и прошлое никому не ведомы. Иные предполагают в нем аристократа, но наружность его – простонародная. Он известен необыкновенной ученостью. На ярмарках Тыбурций развлекает публику пространными речами из античных авторов. Его считают колдуном.
Однажды Вася с тремя приятелями приходит к старой часовне: ему хочется заглянуть туда. Друзья помогают Васе проникнуть внутрь через высокое окно. Но увидев, что в часовне еще кто-то есть, приятели в ужасе убегают, бросив Васю на произвол судьбы. Оказывается, там дети Тыбурция: девятилетний Валек и четырехлетняя Маруся. Вася начинает часто приходить на гору к своим новым друзьям, носить им яблоки из своего сада. Но ходит он лишь тогда, когда его не может застать Тыбурций. Вася никому не рассказывает об этом знакомстве. Струсившим приятелям он говорит, что видел чертей.
У Васи есть сестра, четырехлетняя Соня. Она, как и ее брат, – веселый и резвый ребенок. Брат и сестра очень любят друг друга, но Сонина нянька препятствует их шумным играм: она считает Васю дурным, испорченным мальчишкой. Такого же взгляда придерживается и отец. Он не находит в своей душе места для любви к мальчику. Отец больше любит Соню, потому что она похожа на свою покойную мать.
Как-то раз в разговоре Валек и Маруся говорят Васе, что Тыбурций их очень любит. Вася отзывается о своем отце с обидой. Но неожиданно узнает от Валека, что судья – очень справедливый и честный человек. Валек – мальчик очень серьезный и смышленый. Маруся же совсем не похожа на резвую Соню, она слабенькая, задумчивая, «невеселая». Валек говорит, что «серый камень высосал из нее жизнь».
Вася узнает о том, что Валек ворует еду для голодной сестры. Это открытие производит тяжелое впечатление на Васю, но все же он не осуждает друга.