罗伯特·斯莫斯（Robert Smalls）生于1839年4月5日，在南卡罗来纳州博福特的主人家后面的一间小屋里长大。没有人知道他父亲是谁，但他的后代相信他的主人约翰·麦基（John McKee）曾生过男孩。其他人则认为麦基的儿子亨利和他的种植园经理帕特里克·斯莫斯可能是嫌疑犯。（有趣的是，“ Smalls”的共享姓氏可能完全是巧合。）

一个令人沮丧的事实是，作为奴隶生活的残酷现实常常意味着放弃了确切地知道谁生了孩子的特权，但是由于人们认为Smalls与种植园食物链上的某个高层人物 有亲戚关系，在他的童年时过着舒适的生活。 由于担心儿子无法真正理解奴隶的生活，他的母亲派斯莫斯去鞭打哨所附近的田野工作。

这种经历似乎对这个年轻人产生了持久的影响。19岁那年，史莫斯（Smalls）被送往该城市，在那里他担任打火机的工作，然后在USS播种机上找到工作。在努力走上惠尔曼之路时（同盟国拒绝授予船长头衔），他遇到了妻子汉娜（Hannah），并开始制定计划以购买自由。