Группа впервые заявила о себе 1 апреля 2013 года, выпустив клип «Every Day I’m Drinking» на YouTube.
Уже 2 июля 2013 года в клубе «А2» они провели первое публичное выступление на разогреве у Die Antwoord.
«В истории Little Big вообще много случайностей — просто снимали видос на 1 апреля. Получилось, что он выстрелил. И все стали говорить: „Может, вы группу сделаете?“ Но группы все равно могло не быть, если бы нас не позвали на разогрев к Die Antwoord. Мы такие: „Воу-воу, у нас нет песен“. „Но у вас есть месяц“. И мы написали шесть песен, сняли клипы, они разошлись. Никто не думал, что мы будем на этих песнях зарабатывать. Так вышло», — вспоминает Илья Прусикин в интервью Афише Daily.
Первый альбом группы «With Russia From Love» был выпущен 17 марта 2014 года.
На протяжении своего существования Little Big ездит в туры по Европе и России. «Такая [рэйв] музыка действительно востребована. Мы не вложили [в свою раскрутку] ни единой копейки, просто снимали видео, и стали известны в Европе», — отметил Илья Прусикин в интервью UTV.
Коллектив именует себя сатирической арт-коллаборацией, которая одновременно делает ставку и на музыку, и на визуальный ряд, и на шоу. Little Big обыгрывает, стебётся в каждом своём треке и клипе над различными национальными стереотипами о русских. Все видеоклипы снимает соосновательница группы Алина Пязок. Благодаря тому, что у группы есть своя продакшен-компания (Little Big относится к творческому объединению «КликКлак») и опыт съёмки видеороликов, все свои музыкальные видео они выпускают сами. Видеоклипы группы отличаются гротескностью и нацеленностью на вирусное распространение.