A banda teve início em maio de 1998, quando Zakk Wylde, ex-guitarrista de Ozzy Osbourne, chama Phil Ondich para tocar com ele em um concerto solo na Itália. Nick Catanese, amigo de Zakk Wylde, recomenda Phil para o cargo de baterista.
Zakk e Phil decidiram chamar a banda de "Hell's Kitchen" (bairro de periferia de Nova Iorque) e o seu primeiro álbum de "Sonic Brewery". Entretanto, por não conseguirem uma marca registrada para "Hell's Kitchen", tiveram que trocar o nome da banda para Black Label Society. O nome do primeiro álbum foi mudado para "Sonic Brew".
Mudanças de formaçãoO segundo álbum da banda, Stronger Than Death, saiu em 2000, com DeServio sendo substituído por Steve Gibb. Ondich foi substituído por Craig Nunenmacher em julho de 2000, gravando com a banda seu álbum de estréia: Alcohol Fueled Brewtality. Pela frente veio 1919 Eternal, em 2002. Steve Gibb foi temporariamente substituído por Mike Inez do Alice in Chains durante a turnê do Ozzfest 2001, então Robert Trujillo assumiu as linhas de baixo da banda no ano seguinte.
Em 2003, Trujillo entrou para o Metallica, deixando aberta a vaga de baixista no Black Label Society, o que deu espaço para Inez voltar a banda para uma curta turnê de duas semanas, com o álbum The Blessed Hellride. James Lomenzo se juntou a banda em 2004 após o lançamento de Hangover Music Vol. VI, último álbum da banda lançado pela Spitfire Records.
Em 2005, depois de assinarem com a Artemis Records, Mafia foi lançado. Em outubro, Lomenzo deixou a banda e foi substituído pelo baixista original da banda, John DeServio. Em 2006, a banda deixou a Artemis Records e assinou com a Roadrunner Records, lançando o álbum Shot To Hell.
Em 2008 se apresentou pela primeira vez no Brasil junto com Ozzy, dia 3 de abril de 2008 no Rio de Janeiro, dia 5 de abril de 2008 em São Paulo.
Em 2011 foi anunciado que o ex-baterista da banda de Gothic Metal Type O Negative, Johnny Kelly, é o novo baterista da banda, substituindo Will Hunt.
Mais uma vez o Black Label Society troca de baterista em 2011, dessa vez o substitudo de Johnny Kelly é Mike Froedge
Em agosto de 2011 a banda retorna ao Brasil pela segunda vez, mas dessa vez como headliner passando por Curitiba, São Paulo, Porto Alegre e Goiânia.
Em setembro de 2011 o Black Label Society anuncia pela terceira vez no ano a troca de seu baterista, dessa vez quem entra para substituir Mike Froedge é Chad Szeliga (ex-Breaking Benjamin, Ourafter).
