Im ersten Teil (»Die Quangels«) werden die Hauptpersonen des Romans eingeführt: Schreinermeister Otto Quangel und seine Frau Anna; sie wohnen in der Jablonskistr. 55 in Berlin. Im selben Haus wohnt Barkhausen, ein Denunziant und Gelegenheitsdieb, mit seiner Familie; Familie Persicke, linientreue Nazis; die Jüdin Rosenthal und der pensionierte Richter Fromm. Ins Haus kommt die Briefträgerin Eva Kluge mit einem Feldpostbrief, in dem den Quangels mitgeteilt wird, dass ihr einziger Sohn Otto im Westfeldzug gefallen ist. Evas Mann Enno Kluge, ein arbeitsscheuer Nichtsnutz mit Vorliebe für Frauen und Pferdewetten, kennt Barkhausen. Es kommt auch Trudel ins Haus, die Beinahe-Verlobte des toten Soldaten, die in einer kommunistischen Zelle mitarbeitet.
Durch den Tod von Otto junior kommen die Eheleute Quangel auf den Gedanken, Karten mit antifaschistischen Botschaften zu schreiben und in Treppenhäusern auszulegen.[2] Barkhausen und Enno Kluge wollen in der Wohnung der Frau Rosenthal stehlen. Sie werden daran von den Persickes gehindert, die ihrerseits stehlen wollen, woran sie aber von Fromm gehindert werden. Fromm versteckt Frau Rosenthal, die jedoch aus dem Fenster springt und stirbt. Trudel wird aus der kommunistischen Zelle ausgeschlossen.
Im zweiten Teil (»Die Gestapo«) wird berichtet, wie erste Karten in Berlin auftauchen und was sie bewirken: Schrecken beim jeweiligen Finder. Enno Kluge wird bei einem Arztbesuch in einen solchen Kartenfund hineingezogen und verhört; er kann fliehen, wird von Barkhausen bespitzelt und schließlich an die Polizei »verkauft«. Barkhausen hat auch Ennos neue Freundin, Frau Häberle, ausnehmen wollen, bekommt aber das Geld nicht und wird von Jugendlichen verprügelt. Sein Sohn Kuno, als Spitzel von ihm eingesetzt, gehört zu den Jungen, die ihn verprügeln, und setzt sich anschließend von zu Hause ab. Der Gestapo-Beamte Escherich ist mit der Aufklärung der Kartenschreiberei beauftragt. Er geht die Sache systematisch an, wird aber unter Druck gesetzt, möglichst schnell den Täter zu liefern. Obwohl er von Ennos Unschuld überzeugt ist, treibt er diesen Verdächtigen in den Suizid, um wenigstens etwas vorweisen zu können.
»Das Spiel steht gegen Quangels« ist die Überschrift des dritten Teils: Trudel hat geheiratet und ist schwanger; sie wird zufällig Zeuge, wie Otto Quangel eine Karte in einem Treppenhaus auslegt. Ihrem Mann Karl Hergesell wird von einem ehemaligen KP-Genossen ein Koffer zur Aufbewahrung anvertraut so werden beide später in den Fall Quangel hineingezogen. Quangels haben Kontakt zu Heffkes aufgenommen, dem Bruder und der Schwägerin Annas. Bei gelegentlichen Besuchen legen sie auch in dieser Gegend Karten aus. Dabei wird Quangel einmal beobachtet und angezeigt; Escherichs Nachfolger lässt ihn aber laufen, weil er aufgrund der Verteilung der Karten in Berlin einen Straßenbahner als Schreiber sucht. Als Quangel in seiner Sägerei zwei Karten verliert und bei der Deutschen Arbeitsfront (DAF) anzeigt, er habe sie gefunden, wird der Betrieb gesperrt. Quangel wird aufgrund seines Wohnsitzes in der Jablonskistraße von Escherich als Täter erkannt und verhaftet. Quangel wird Escherich vorgeführt, der triumphierend seinen verbissensten Gegner verspottet. Indem er ihm beinahe alle Karten zeigt, die Quangel je geschrieben hat, zeigt er auf, dass die Leute mitnichten die Karten lesen und behalten, sondern sich im Gegenteil möglichst schnell von ihnen distanzieren wollen und sie deshalb bei der Polizei abgeben. Auch Quangel ist davon zunächst schockiert, fasst aber nach einer Weile Mut, da immerhin sieben Karten nicht gefunden wurden. Escherich hält ihm die geringe Effektivität der jahrelangen Arbeit vor Augen, die Quangel auch noch mit dem Leben bezahlen werde. Quangel entgegnet aber nur, dass anständige Menschen kämpfen müssten, weil sie sonst irgendwann nicht mehr anständig seien. Anschließend hält er dem sich für sehr erfolgreich haltenden Escherich vor, dass auch dieser von den Launen der Machthaber abhängig sei. Nach dem Gespräch mit Quangel erschießt sich Escherich, da er erkannt hat, wie verlogen sein ganzes Leben war, da er sich bisher immer von seinem Tun und den verfolgten Opfern distanziert hat. Er ist damit der Einzige, bei dem die Karten den gewünschten Effekt hatten.
Eva Kluge arbeitet mittlerweile auf dem Land bei ihrer Schwester. Ihr neuer Freund Kienschäper bestärkt sie darin, den obdachlosen Kuno aufzunehmen. Barkhausen ist mit dem Spitzel Klebs in einen Diebstahl verwickelt, wird verhaftet und zusammengeschlagen.
Als vierter Teil folgt »Das Ende«: Geschildert werden die Verhöre der Eheleute Quangel; durch ein Versehen hat Anna Trudels Namen erwähnt, weswegen sie und Hergesell verhaftet werden. Trudel hat eine Fehlgeburt gehabt. Es folgen Aufenthalte in verschiedenen Gefängnissen, die Begegnung mit einem menschlichen Gefängnispfarrer und einem unmenschlichen Gefängnisarzt sowie die Verhandlung vor dem Volksgerichtshof ein unwürdiges Verfahren, in dem Otto und Anna ihre Schuld gestehen, allerdings beide wegen negativer Äußerungen über Hitler und die SS vom Prozess ausgeschlossen werden und so der sadistischen Urteilsverkündung des Richters entkommen. Es gelingt Fromm, den beiden Quangels jeweils eine Giftampulle zukommen zu lassen. Otto lernt seinen Mithäftling, den kultivierten Dirigenten Dr. Reichhardt, näher kennen, von dessen Lebensführung in der Zelle er Wesentliches lernt. Zum Beispiel entdeckt er neue Seiten an sich, als er das Gespräch und das Schachspiel für sich entdeckt. Obwohl er den Pazifismus und die mangelnde Wehrbereitschaft seines Zellenkameraden ablehnt, werden die beiden gute Freunde. Otto findet seinen Frieden, entschließt sich die Kapsel aber noch nicht zu schlucken, da er die letzten Tage genießen will. Frau Quangel wirft die Ampulle weg, da sie sich nicht der Versuchung eines vorzeitigen Selbstmordes aussetzen will, solange die Chance besteht, ihren geliebten Ehemann vor der gemeinsamen Hinrichtung noch einmal wiederzusehen. Damit wird sie ruhig und freundlich, wird jedoch von den Wächterinnen und den anderen Insassen zunehmend für verrückt gehalten. Beide lernen schwierige Mitgefangene kennen. Karl Hergesell wird erschlagen, Trudel begeht Selbstmord. Otto Quangel hat es abgelehnt, ein Gnadengesuch einzureichen, und will unbedingt noch einige letzte Momente lang das Leben auskosten. Am Ende wird er mit dem Fallbeil hingerichtet, weil er sich nicht entscheiden kann Selbstmord zu begehen. Anna kommt Monate später bei einem Bombenangriff ums Leben.
In der Zwischenzeit ist der alte Persicke als Trinker in einer Entziehungsanstalt gelandet. Sein Sohn Baldur, Schüler einer Napola (Nationalpolitische Erziehungsanstalt), hat durchsetzen können, dass Persicke nicht wegen Unterschlagung verurteilt wurde. Er besucht ihn in der Anstalt und nötigt den behandelnden Arzt, seinen Vater nicht zu entlassen, sondern ihm regelmäßig eine übelkeitserregende »grüne Spritze« in hoher Dosis verabreichen zu lassen.
Das letzte Kapitel bietet einen hoffnungsvolleren Ausblick: Eva Kluge und Kienschäper haben geheiratet und Kuno adoptiert; dieser ist ein anderer Mensch geworden. Als er seinen Vater trifft, sagt er sich endgültig von ihm los, um frei auf dem Land leben und arbeiten zu können.
