Анри де Тулуз-Лотрек родился 29 ноября 1864 года в городке Альби в замке дю Боек. В Альби в настоящее время находится одно из крупнейших собраний его картин, литографий, рисунков — известный музей Анри де Тулуз-Лотрека. Маленький Анри вырастает под опекой матери среди своих двоюродных братьев и сестер. Он растет в семье, где вечерним досугом часто бывает рисование. Известно, что отец и мать Тулуз-Лотрека были замечательными рисовальщиками. Особенно отец. Мать посвящает все свое время сыну (когда Анри исполнилось три года, у него родился брат, вскоре, однако, умерший).
В 1873 г. вся семья переезжает в Париж, где Анри поступает в лицей Фонтан. Мальчик учится блестяще. В лицее он встречается с двумя своими будущими друзьями, имена которых следует назвать. Луи Паскаль и Морис Жойян, известный впоследствии торговец картинами, сменивший Тео Ван-Гога в фирме Гупиль. Лотрек два раза выставляет у Жойяна. Третья выставка была посмертной. Жойян пишет первую большую двухтомную монографию о Тулуз-Лотреке с наиболее полной пока библиографией его произведений (1926-27). Он же впервые приводит в ней сведения о том, что Лотрек в лицее получал первые премии по латыни, французской грамматике и английскому языку. С английского языка Лотрек переводит впоследствии книгу о соколах. Однако уже в 1875 г. у Лотрека проявляются первые признаки частых заболеваний и будущих нервных припадков. Он вынужден прервать учебу в лицее. Частные учителя под наблюдением матери руководят его занятиями. Отец тем не менее все еще продолжает брать сына с собой на охоту, учит его ездить на лошади в надежде вырастить достойного продолжателя дворянского рода. Вскоре, однако, происходит несчастный случай, который изменяет течение всей последующей жизни Лотрека (точно так же как отношение к нему отца). 30 мая 1878 г. Анри поскользнулся на паркете в замке дю Боек и сломал левую ногу. Долгое время он лежит в гипсе. Кость срастается медленно. Еще не совсем оправившись от болезни, он во время прогулки на глазах у матери вторично ломает на этот раз правую ногу. Все повторяется вновь. Родители приглашают лучших врачей. Длительное бездействие. Рост костей нижней части тела приостанавливается. Верхняя часть развивается, однако, нормально. Походка Анри становится неуверенной, и он постепенно начинает осознавать, что стал калекой. Одиночество, дни без друзей, дни, когда он упрекает мать за то, что она родила его, совершенно изменившие характер, настроение и мысли мальчика! Его единственное развлечение в это время — рисунки. Он рисует буквально все. Под открытым небом и в комнате, фигурные композиции и портреты. Постепенно развлечение становится радостью, а затем и просто необходимостью: уметь больше, научиться всему! В это же время Лотрек пытается сделать первые иллюстрации к рассказу «Cocotte», написанному его молодым другом Этьеном Девизмом (1879). Под одним из писем он так и подписывается «будущий художник А. де Т. Л.» (X, 1881).