現在、SharePoint Online のドキュメントライブラリ (Modern UI) ではファイル名をクリックすると、すぐに Office Online 機能を使って編集モードになるようになっています。もちろん、ログオンユーザーに編集権限があれば、ですが。

Edit faster in Word, Excel and PowerPoint

Applies To: SharePoint Online users We've introduced a more collaborative web experience for Word, Excel and PowerPoint documents for SharePoint Online and OneDrive for Business. Now, when you click a Word, Excel or PowerPoint file in OneDrive for Business or open a sharing link to a Word, Exc...

  そもそもファイル名の横にある ... メニューに[プレビュー]ってメニューがあるなぁとは思っていましたが、違いをよく把握しておらず。[プレビュー]をクリックすると、他のファイルと同様に従来のファイルプレビュー画面となります。この画面であれば、同一フォルダー内の他のファイルも、右上の< や>を使ってプレビューしていけます。

しかし、ファイル名をクリックすると Word Online, Excel Online, PowerPoint Online の画面に切り替わるため、元のライブラリに戻るときには画面上部のリンクをクリックして、、、という挙動になります。

操作イメージは次のビデオ画面をどうぞ (音声なし)

少しずつ、間違い探しのようですが、機能がアップデートされていますね。