Sommer spielte für mehrere Jugend-Nationalmannschaften, darunter die Schweizer U-16, U-17 Junioren und U-19 Junioren. Sein erstes Länderspiel in der Schweizer U-16 Mannschaft war am 26. August 2003 bei einer 0:5-Niederlage gegen die Deutsche U-16-Junioren. Sein erstes Länderspiel in der Schweizer U-17 Mannschaft spielte er am 20. November 2003 bei einem 1:1 im Auswärtsspiel gegen die englische U-17.

Er qualifizierte sich mit dem Schweizer U-21-Nationalteam für die Endrunde der U-21-Europameisterschaft 2011 und war in dieser Auswahl Stammtorhüter und Mannschaftskapitän. Sommer blieb an diesem Turnier bis zum Finale ohne Gegentor, unterlag dann aber im Endspiel mit seiner Mannschaft gegen Spanien 0:2.

Am 30. Mai 2012 gab Sommer sein Debüt in der A-Nationalmannschaft beim Freundschaftsspiel gegen Rumänien in der Swissporarena in Luzern, das die Schweizer mit 0:1 verloren. Am 13. Mai 2014 wurde er von Nationaltrainer Ottmar Hitzfeld ins Kader der Schweizer Nationalmannschaft für die Weltmeisterschaft 2014 in Brasilien berufen. Er kam als Ersatztorhüter hinter Diego Benaglio nicht zum Einsatz. Seit Benaglios Rücktritt im August 2014 ist Sommer Stammtorwart.

Bei der Fußball-Europameisterschaft 2016 in Frankreich wurde er auch als Nummer 1 in das Aufgebot der Schweiz aufgenommen. In der Auftaktpartie vereitelte er mehrere gute Chancen des Gegners Albanien und rettete den 1:0-Sieg. Nach zwei Unentschieden gegen Rumänien und Frankreich zog Sommer mit der Schweiz als Gruppenzweiter ins Achtelfinale ein. Dort kam es zum Penaltyschiessen, in dem kein Schuss gehalten wurde, jedoch der Schweizer Spieler Granit Xhaka am Tor vorbei schoss und damit das Ausscheiden der Schweizer besiegelte. Sommer qualifizierte sich mit der schweizerischen Nationalmannschaft für die WM 2018 in Russland.