Группу вдохновляли такие исполнители, как A Tribe Called Quest, De La Soul, The Roots и Black Star. В состав Little Brother входят Phonte (настоящее имя Phonte Coleman) и Big Pooh (настоящее имя Thomas Jones), выполняющие роли MC, а также DJ и продюсер 9th Wonder (настоящее имя Pat Douthit). 9th Wonder является приверженцем old school техники сэмплирования. Благодаря его таланту, его сразу же начали называть достойным наследником DJ Premier и Pete Rock.
Группа сформировалась в центральном университете Северной Каролины, в городе Durham. Все три участника стали известными ещё в 1998 году, когда они выступали в местной хип-хоп группе, называвшейся The Organization. После распада группы в 2000 году, Phonte, Big Pooh и 9th Wonder возглавили команду из 12-ти MC, назвав себя The Justus League. Трое основных участников оставались неизменными, а остальные часто менялись или уходили. Таким образом, в августе 2001 года, группа официально сформировалась как Little Brother. В своём названии они, как бы отдавали дань тем исполнителям, которые оказали на них влияние.
Первой записью Little Brother был трек "Speed". Данная запись создала стандарт для их последующего творчества. В течение следующих нескольких месяцев у них накопилось достаточно материала, для того, чтобы начать давать живые выступления. На концертах они начали пользоваться достаточной популярностью. После того, как группа разместила свою музыку в Интернете, в 2002 году на них обратила внимание звукозаписывающая компания ABB Records.
В начале 2003 года Little Brother выпустили свой дебютный альбом "The Listening". Диск получил положительные отзывы критиков, и от части это произошло благодаря 9th Wonder. После выпуска альбома, группа также отметилась на релизах Jay-Z и Destiny's Child.
В 2005 году Little Brother выпустили альбом "The Minstrel Show". Их следующий альбом "Get Back", вышел в 2007 году. В январе этого же года было объявлено, что 9th Wonder покидает группу, но не из-за разногласий, а по собственному желанию.
