Малката базилика на Филипопол е била разположена в източните покрайнини на античния град, непосредствено до вътрешното лице на крепостната стена с кула от II – IV в. Църквата била близо до източния некропол на града и до мартириона на 37-те филипополски мъченици край пътя за Константинопол. Базиликата е изградена през втората половина на V в. в чест на Базилиск, главния военен командир на провинция Тракия. Той има собствено жилище във Филипопол и печели уважението на местните хора през 471 г., когато отблъсква от града разбунтувалите се готи. Признанието към Базилиск е изразено в ктиторски надпис от 6 реда, вграден в мозайките пред олтара, който възхвалява военноначалника.

През 475 г. Базилиск става император, но след само 20 месеца е свален от предшественика си Зенон (474-491), който заповядва всяка следа от присъствието на врага му да бъде унищожена. В резултат на това първите редове на ктиторския надпис в Малката базилика, оформен в мозайката от червени камъчета на бял фон в центъра срещу олтарната апсида, са премахнати.

Скоро след това базиликата изгаря до основи. Дървеният покрив и керемидите рухват и затрупват вътрешността на църквата с отломки. След опожаряването на сградата тя е реконструирана и обновена. Запазват се външните размери, като подовото ниво е повдигнато с около 0,70 м. Новият под е тухлен. Променено е оформлението на притвора, олтарната преграда и амвона. Тогава към северния кораб е пристроен баптистерий. Баптистерият има квадратен план, кръстовидна писцина (басейн) и отново многоцветна подова мозайка. На нея са изобразени елен, гълъби и други християнски символи. С това оформление базиликата функционира до края на VI в.

Към края на VI в. Малката базилика е изоставена, заедно с много от сградите в града в равнината. Базиликата се превърнала в руина, а местните хора дълго време я използвали като източник на строителен материал. През Х-ХI в. е започнала дейност на разкопаване на руините, което оставя видими ями в мозаечния под на базиликата.

Останките на базиликата са открити през 1988-1989 г. при строителството на жилищен блок. Археоложката Мина Боспачиева, която я разкопава, я нарича Малката базилика, тъй като в непосредствена близост се намират две други филипополски базилики, едната от които е смятана за митрополитската църква на града (Голямата базилика). През 1991 г. строежът на жилищната кооперация е завършен на няколко метра встрани и базиликата и близката част от крепостната стена с кула са изложени in situ. Мозайките в баптистерия са консервирани на място, а тези от църквата са вдигнати, няколко фрагмента от тях са консервирани и прибрани в склад. До 2010 г. базиликата е изоставена и скрита под бурени.

Днес тя е една от най-интересните и красиви културно-исторически забележителности на Пловдив, под управлението на Общински институт „Старинен Пловдив“.