Zu Beginn der 1980er-Jahre entstand mit der Partei Die Grünen eine neue Konkurrenz zur SPD, die vor allem die höher gebildete, ökologisch-alternativ geprägte Wählerklientel an sich binden konnte. Innerhalb der SPD traten innerparteiliche Konflikte zwischen dem linken Flügel und der Regierung Helmut Schmidts auf, die insbesondere die Themen Kernenergie und Nato-Sicherheitspolitik betrafen. Dieser Konflikt weitete sich zu einer Koalitionskrise aus. 1982 wurde die Regierung Schmidt durch ein konstruktives Misstrauensvotum von CDU/CSU und der an der Regierung beteiligten FDP beendet und durch eine Koalition von CDU/CSU und FDP unter Bundeskanzler Helmut Kohl (CDU) abgelöst. In den folgenden 16 Jahren versuchte die SPD mehrfach, die Regierung zu übernehmen. Die Kanzlerkandidaten Hans-Jochen Vogel, Johannes Rau, Oskar Lafontaine und Rudolf Scharping scheiterten jedoch nacheinander bei den Bundestagswahlen gegen Helmut Kohl. In der Opposition wuchs aber die Dominanz der Sozialdemokraten im Bundesrat: Im Frühjahr 1998 wurden zwölf von 16 Bundesländern von SPD-geführten Koalitionen regiert. Fünf davon – Schleswig-Holstein, Hamburg, Sachsen-Anhalt, Hessen und Nordrhein-Westfalen – waren Bündnisse mit der jungen Partei Bündnis90/Die Grünen, was den Weg für eine rot-grüne Zusammenarbeit nach der gewonnenen Bundestagswahl 1998 ebnete.
Rot-grüne Regierungskoalition
Mit dem Kanzlerkandidaten Gerhard Schröder gelang es der SPD 1998, die Bundestagswahlen mit 40,9 Prozent der Stimmen zu gewinnen und zusammen mit Bündnis 90/Die Grünen die Regierung zu stellen. Schröder wurde nach dem Rücktritt Oskar Lafontaines im März 1999 auch Parteivorsitzender der SPD. Die Mitgliederzahlen der Partei, die sich schon in Oppositionszeiten verringert hatten, sanken im Laufe der Regierungszeit weiter: 1998 waren es noch 775.000 Genossen, Ende 2005 lediglich 590.480. Unter anderem als Reaktion auf diesen anhaltenden Trend löste Franz Müntefering Gerhard Schröder im Jahr 2004 als Parteivorsitzenden ab. Auch wenn die SPD die Bundestagswahl 2002 mit 38,5 Prozent der Wählerstimmen für sich entscheiden konnte, mussten die Sozialdemokraten im Laufe der rot-grünen Regierungszeit eine Serie von Niederlagen bei Landtagswahlen hinnehmen, die sie schließlich die Kontrolle des Bundesrats kostete. Grund dafür war nicht zuletzt eine Reihe von Regierungsentscheidungen, vor allem in der Sozialpolitik, die von Teilen der SPD-Anhängerschaft als ungerecht wahrgenommen wurden. Diese Entscheidungen waren auch mitverantwortlich für die Gründung der Wahlalternative Arbeit und Soziale Gerechtigkeit (WASG) – zunächst als Verein, später als Partei –, die sich später mit der Linkspartei.PDS zur Linken vereinigte. Seitdem existiert auch in den westdeutschen Bundesländern eine linke Konkurrenz zur SPD.
Zweite Große Koalition
Nachdem auch die Landtagswahlen in Nordrhein-Westfalen im Mai 2005 verloren gegangen waren, führte Bundeskanzler Gerhard Schröder im selben Jahr Neuwahlen zum Bundestag herbei. Die SPD erreichte dabei 34,2 Prozent und wurde nach CDU/CSU (35,2 Prozent) nur noch zweitstärkste Partei. Sie blieb jedoch in der Großen Koalition mit CDU/CSU an der Regierung beteiligt. Im Kabinett von Bundeskanzlerin Angela Merkel (CDU) stellte die SPD acht Minister. Franz Müntefering gab während der Koalitionsverhandlung Ende 2005 aufgrund innerparteilicher Personalstreitigkeiten den Parteivorsitz auf, kehrte allerdings im Oktober 2009 in dieses Amt zurück. In der Zwischenzeit hatten die Ministerpräsidenten Matthias Platzeck und Kurt Beck sowie kommissarisch Frank-Walter Steinmeier diese Position inne. Müntefering trat 2007 außerdem aus familiären Gründen von seinen Ämtern als Bundesminister für Arbeit und Soziales sowie als Vizekanzler zurück. Vizekanzler der Großen Koalition wurde Bundesaußenminister Frank-Walter Steinmeier, der zudem 2008 zum Spitzenkandidaten für die Bundestagswahl 2009 ernannt wurde. Die Sozialdemokraten beschlossen auf dem Bundesparteitag am 28. Oktober 2007 in Hamburg ein neues Grundsatzprogramm. Dieses Hamburger Programm löste das bis dahin geltende Berliner Programm von 1989 ab.
Oppositionspartei seit 2009
Die Bundestagswahl 2009 endete für die SPD mit dem schlechtesten Ergebnis ihrer Geschichte: Die Sozialdemokraten verloren 11,2 Prozentpunkte und erzielten 23,0 Prozent der Zweitstimmen. Da CDU, CSU und FDP die von ihnen gewünschte Koalition bilden konnten, übernahm die SPD die Rolle der größten Oppositionspartei. Auch auf das Spitzenpersonal der Partei hatte die Wahlniederlage Auswirkungen: Der ehemalige Bundesumweltminister Sigmar Gabriel folgte im November 2009 Franz Müntefering als Parteivorsitzender nach, Frank-Walter Steinmeier übernahm das Amt des Fraktionsvorsitzenden im Bundestag.
Programm
Die SPD versteht sich als soziale und fortschrittliche Volkspartei für alle Bevölkerungsschichten. Mit dem Godesberger, dem Berliner und dem Hamburger Programm hat sie ihr Leitbild seit dem Ende des zweiten Weltkriegs dreimal neu formuliert. Die Sozialdemokratische Partei Deutschlands (SPD) versteht sich als soziale und fortschrittliche Volkspartei für alle Bevölkerungsschichten. Basis der Politik der Sozialdemokraten sind ihre traditionellen Grundwerte Freiheit, Gerechtigkeit und Solidarität, wobei nach wie vor das Ideal des Demokratischen Sozialismus ein Ziel der SPD ist. Grundsätze und Haltungen zu bestimmten Politikfeldern sind im Grundsatzprogramm der SPD festgeschrieben. Seit dem Ende des Zweiten Weltkriegs sind drei solcher Programme beschlossen worden: 1959 das Godesberger, 1989 das Berliner und 2007 das Hamburger Programm.
Das Godesberger Programm
Mit ihrem Godesberger Programm hatte sich die SPD 1959 von ihren marxistischen Wurzeln gelöst. Damit öffnete sie sich vielen verschiedenen gesellschaftlichen Gruppen und legte den Grundstein für ihren Wandel zur Volkspartei. Diesem Schritt war ein langwieriger innerparteilicher Diskussionsprozess vorausgegangen, der auch durch die anhaltenden Misserfolge der Partei bei den Bundestagswahlen ausgelöst worden war.
In den folgenden Jahrzehnten stand die Partei für die Steuerung von Wirtschaft durch die Politik im Sinne des Ökonomen Keynes (Keynesianismus), den Ausbau des Sozialstaats und Umverteilung zugunsten der Arbeitnehmer und eine Stärkung der industriellen Demokratie.
Programm und Politik in der sozialliberalen Koalition
Spätestens in der sozialliberalen Koalition wurde die oben angedeutete Distanz zwischen programmatischen Zielvorstellungen und den tatsächlichen oder vermeintlichen Zwängen des Regierungshandelns offenbar. Dies führte nach dem Rücktritt Willy Brandts als Bundeskanzler 1974 zu einer Rollenverteilung zwischen ihm als Parteivorsitzendem und dem neuen Kanzler Helmut Schmidt. Während Schmidt für einen pragmatischen und unideologischen Umgang mit politischen Problemen stand, sorgte der charismatische Brandt als Identifikationsfigur und "sozialdemokratisches Gewissen" für den inneren Zusammenhalt der Partei. Gleichzeitig war es aber auch Brandt, der sich gegenüber den Neuen Sozialen Bewegungen, wie der Friedensbewegung, aber auch den Einflüssen durch die neu gegründeten Arbeitsgemeinschaften oder die Jusos sehr viel offener zeigte. Diese Einflüsse hatten auch Auswirkungen auf die innerparteiliche Debatte um sozialdemokratische Grundsätze und Ziele in den 1970er und 1980er Jahren. Tatsächlich sollten sie in das Berliner Programm Eingang finden.
Das Berliner Programm
Ein neues Parteiprogramm wurde 1989 auf dem Bundesparteitag in Berlin beschlossen und 1998 in Leipzig geändert. Es passte die sozialdemokratischen Ziele an die veränderten politischen und gesellschaftlichen Rahmenbedingungen an. Dabei wurden auch Themen berücksichtigt, die die Neuen Sozialen Bewegungen in die Politik eingeführt hatten, z.B. in den Bereichen Frauenemanzipation und Umweltschutz. Diese Offenheit war auch ein Ergebnis der neuen Konkurrenz durch die Grünen. Das Berliner Programm beinhaltete nach wie vor die Ziele des demokratischen Sozialismus und der sozialen Gerechtigkeit. Die beiden Politikwissenschaftler Richard Stöss und Oskar Niedermayer werteten dies allerdings eher als Traditionsbestimmung oder unspezifische Norm, nicht als konkrete politische Vorgabe. Die Wirkung des Programms auf die Öffentlichkeit wie auch auf die Partei blieb gering. Es war es wie schon das Godesberger Programm weniger eine konkrete politische Orientierungshilfe als vielmehr Ausdruck eines gemeinsamen sozialdemokratischen Grundkonsenses, auf dessen Grundlage sich verschiedene Parteiflügel verständigen und Kompromisse schließen konnten – denn verschiedene Gruppen innerhalb der Partei haben teilweise erheblich voneinander abweichende Vorstellungen von sozialdemokratischer Politik.
