本日セットアップした新しいパソコン(Officeバンドル版)に Outlook(classic) がなくて、同じようにダウンロードしてインストールしたものが英語版だったため、さらに検索していてこちらの質問にたどり着きました。
私の方では解決したのでお知らせしたく返信させていただきます。
OSセットアップが終わってしばらくすると画面右下に、文言は正しく覚えていないのですが「Office Home & Business は含まれています。Microsoft Store でセットアップ」のようなバルーンが表示されました。
その時はストアアプリかと思って無視したのですが、これがヒントでした。
他にも新しいパソコンをセットアップしたのですが、ものは試しでこのバルーンをクリックしてみると Microsoft Store が起動して Office Home & Business 2021 が表示され、雲アイコンでインストールできるようになっていました。
雲アイコンをクリックすると Office のアップデートが始まりそれが終わると Outlook(classic) がインストールされていて日本語版を使えるようになりました。

英語版をインストールしたパソコンはそれをアンインストールして Microsoft Store から同じようにインストールすると日本語版を使えるようにしました。
そちらでも Microsoft Store のライブラリに「Office Home & Business 2021」が追加されているのではないでしょうか。
追加されていたら、英語版はアンインストールしてから、こちらをインストールしてみてはいかがでしょうか。
Microsoft Store 自身のアップデートがある場合は先にそれをアップデートしておいてください。
他にも数台セットアップした時に手順の違いがあったのか、 Office が追加されていないものもあって、Microsoft Store をアップデートすると追加されたものもありましたので。