托尔斯泰于1828年8月28日出生在亚斯纳亚·波利亚纳。他一周岁半的时候，妈妈去世了。妈妈去世的原因，谁也说不清。有说得热病死的，也有人说她得的病是大脑炎，她的一个老女仆则说她荡秋千时一块板掉下来打了她的头一下，因此得病死的。
托尔斯泰的妈妈不仅文化修养极高，而且对子女的教育也非常重视。这从她为大儿子尼古拉做的品行记录中可以看出来。尽管忙于照管孩子、做家务，她依然保持着原先那种爱幻想、富于艺术情趣、有些多愁善感的性格。她研究音乐，博览群书，甚至还写过两首诗，歌咏对丈夫的爱。
妈妈死的时候，托尔斯泰很小，但在他的想象中她依然栩栩如生，说：“从她那大大的眼睛里闪耀出一种善良而畏葸的光芒。这双眼睛使她那瘦削而带病容的脸光彩照人，因而使它变得更加美好。”托尔斯泰还说：“在我的想象中，她是那么高尚纯洁，简直像神灵一般；因此在我的一生中，当我同诱惑我的东西作斗争时，我总是向她的灵魂祈祷，请求她给我帮助，而这种祈祷经常是见效的。”
妈妈去世以后，五个孩子便由托尔斯泰的父亲尼古拉和姑妈们照管。
托尔斯泰除了两个亲姑妈以外，还有一个远房表姑——塔季扬娜·亚历山大罗夫娜·叶尔戈利斯卡娅（以下简称塔季扬娜），她是托尔斯泰祖母娘家戈尔恰科夫家的远房亲戚，双亲去世后由托尔斯泰祖母收养。
关心并教育孩子们的主要责任落到了塔季扬娜的肩上。用托尔斯泰的话来说，她对托尔斯泰生活的影响仅次于父母。她头发粗硬，乌黑，鬈曲，扎着一条大辫子，玛瑙般黑亮的眼睛充满着生气和精力，形象十分招人喜欢。她为人正直刚强，富有自我批评自我牺牲精神，善于爱人，有强烈的责任感。她跟托尔斯泰的父亲同岁，爱托尔斯泰的父亲，托尔斯泰的父亲也爱她，可是他们因为穷没能结婚。托尔斯泰的妈妈死后，托尔斯泰的父亲曾向她求过婚，但她没有答应，原因是不愿破坏自己跟他和孩子们之间的纯洁而高尚的关系。
关于塔季扬娜表姑，托尔斯泰在回忆录里写道：
“当我开始记得她的时候，她已40开外了。我从来没有考虑过她的外表是否漂亮。我就是喜欢她，喜欢她的眼睛、她的笑容以及青筋嶙嶙的黝黑的小手。”
“塔季扬娜·亚历山大罗夫娜对我的一生有着十分巨大的影响。这影响首先在于：早在儿童时代，她就教会了我在精神上享受爱的欢乐。
她不是用语言教会了这一点，而是用整个身心把爱传给了我。
“我看到并体会到，她由于热爱人而生活得很美好，于是我懂得了爱的幸福。其次在于：她教会我体会到了宁静孤独生活的乐趣。”
托尔斯泰在塔季扬娜表姑和保姆的照管下，跟妹妹玛丽亚和他家收养的小姑娘杜涅奇卡在一起生活到五岁。后来他被安排到楼下跟哥哥们住到一起，由德国家庭教师列斯谢利来照管。
大哥尼古拉富于幻想，善于讲故事。他讲的蚂蚁兄弟和吹牛山这两个故事，给5岁的托尔斯泰留下了不可磨灭的印象。后来他回忆说：
“总之，当时我5岁，三哥米佳6岁，二哥谢尔盖7岁；大哥尼古拉向我们宣布：他有一个秘诀，若是有朝一日把这个秘诀公开，利用这个秘诀，所有的人都将成为幸福的人，不再会有什么疾病，也不会再有任何不愉快的事情，无论谁也不再会生别人的气，而且大家都彼此相爱，
大家都将成为蚂蚁兄弟（这大概是他听到或读到的‘摩拉维亚兄弟会①’的故事吧，但用我们的话来说就是蚂蚁兄弟）。‘蚂蚁’这个词特别叫人喜欢，因为它会使你想起土墩上的那些蚂蚁。我们甚至还做蚂蚁兄弟的游戏，那就是：大家都坐在椅子底下，用一些箱子把椅子围住，再用围巾和手帕蒙上，大家便摸黑坐在那里，彼此紧紧地偎依在一起。我记得，那时我心里充满了一种特殊的爱，感到特别激动，因此我十分喜欢这种游戏。
①基督教的一个教派，其前身是波希米亚和摩拉维亚一带的胡斯派兄弟会，主要是德国虔敬主义的产物。
“‘蚂蚁兄弟’是怎么回事，我们知道了；但是主要的奥秘在于：
要怎样做才能使所有的人都不会遇到任何不幸，永远也不争吵，而且永远幸福呢，——人们告诉我们，这一奥秘写在一根小绿棒上，而这根小绿棒被埋在老扎卡兹沟边的路旁。为了纪念大哥尼古拉，我曾请求将来把我也埋在那里，因为总得有个地方埋我的尸体呀。
“除了这根小绿棒之外，还有一座什么吹牛山。他说他可以带我们进山里去，假如我们能准备好一切必要条件的话。这些条件如下：第一，要站到角落里，而且不准想到白熊。我记得我站到角落里的情景：尽管我尽力不去想白熊，可是无论如何也摆脱不掉有关白熊的念头。第二，要沿着地板之间的一道缝隙走过去，不准踏空。第三，这很容易办到，即一年之内不能看到一只兔子，不管是活的，还是死的，还是烤熟的。
最后必须发誓，对任何人也不能公开这个秘密……
“要像蚂蚁兄弟那样相亲相爱，紧紧偎依在一起，不过不单是在蒙着围巾和手帕的圈椅底下，而是要普天下所有的人全都如此，这至今仍然是我的理想。那时候我相信：那根小绿棒是存在的，上面写的是：消灭人间一切罪恶，赐与人们伟大幸福。如今我依然相信这一真理是永存的，它将为人们所知道，并将赐与人们它所允诺的一切。”
关于几个哥哥，托尔斯泰写道：“我和米佳是好朋友，我对尼古拉很尊敬，而对谢尔盖却十分钦佩，因此我模仿他，希望成为和他一样的人。我羡慕他那漂亮的外貌、他的歌声（他是经常唱歌的）、他的绘画、他那开朗的心情，特别赞赏他那毫不掩饰的利己主义——这一点无论如何都会叫人感到奇怪，但我还是应该说。我总是记着并且琢磨着别人对我的看法是否正确，正是这一点毁了我的生活乐趣，大概也正是因为这一点，我特别喜欢别人身上所具有的与此相对立的东西，即毫不掩饰的利己主义。也正因为如此，我特别爱谢尔盖——但‘爱’这个词不够确切。对尼古拉，我是爱的；对谢尔盖，则是钦佩，好像是钦佩某种使我感到陌生而不可理解的东西。这就是人间十分美好的生活，可是对我来说，这生活是完全无法理解的、神秘的，因此也是特别诱人的。
“……对尼古拉，我想跟他待在一起，交谈，思考；而对谢尔盖我只是想模仿他。”
俄语摩拉维亚兄弟会跟蚂蚁兄弟发音近似，所以尼古拉便把摩拉维亚兄弟会附会成蚂蚁兄弟了。
