Der Schweizer WM-Keeper von 1962 und 1966 ist in Zürich einer Lungenentzündung erlegen. Der in Bülach geborene Elsener spielte in der höchsten Liga für die Grasshoppers, La Chaux-de-Fonds, Winterthur, Grenchen, Lausanne und Luzern. Mit den Hoppers gewann er 1956 das Double Cup/Meisterschaft.
Die Nationalmannschafts-Karriere des gelernten Schlossers, der während seiner Aktivkarriere als Heizungstechniker und Sportartikel- Verkäufer arbeitete, begann 1958 in Paris mit einem 0:0 gegen Frankreich. Es folgten 33 weitere Länderspiele und zwei WM-Teilnahmen.