Grupa powstała w roku 1967 jako kwartet założony przez nastoletnich przyjaciół. Jego pierwotny skład tworzyli: Anthony "Tony" Iommi, William "Bill" Ward, John "Ozzy" Osbourne i Terence "Geezer" Butler. Tony Iommi, gitarzysta prowadzący zespołu, uległ wypadkowi, w którym stracił opuszki palców prawej ręki. By grać dalej, skonstruował rękawiczkę z plastykowymi wkładkami. Mimo tego gra na gitarze wciąż sprawiała mu zbyt wiele bólu i Iommi zmniejszył napięcie strun strojąc gitarę oktawę niżej naturalnego stroju. W ten sposób zrodziło się charakterystyczne dla zespołu, oryginalne brzmienie. Nisko grająca gitara, ciężko brzmiąca sekcja rytmiczna w połączeniu z dramatycznym, niekiedy histerycznie brzmiącym wokalem Osbourne'a, nadała muzyce Black Sabbaath niepowtarzalny i pesymistyczny nastrój. Dopełniały go fantasmagoryczne, pełne religijnej obsesji teksty, utrzymane w stylu makabreski. Większość utworów grupy z pierwszego okresu jej działalności ma regularną strukturę pieśni trzyczęściowej. Otwierająca część zawiera krótki pasaż instrumentalny i dłuższą partię wokalną. Część druga jest wyłącznie instrumentalna, niekiedy rozbudowana. Część trzecia, zakończona krótką codą jest zwykle wiernym powtórzeniem pierwszej części.
W ciągu pierwszych dziesięciu lat swej działalności grupa stała się jednym z najbardziej znaczących zespołów hard rockowych. W 1979 z grupy odszedł Ozzy Osbourne, który rozpoczął karierę solową. Po jego odejściu Black Sabbath kontynuuował działalność ze zmiennym szczęściem, starając się zachować swoje oryginalne brzmienie mimo dalszych zmian personalnych. Jedynym muzykiem, który w niej pozostał z pierwotnego składu jest Tony Iommi. Grupa gra do dziś.