宗教上の理由でDocker Desktopを入れたくないのでWSLのDockerを使っている。
当然devcontainerでもWSLを使いたいので適当にググって出てきた手順を試してたけど、なぜかWindows側のdockerが使われてうまくいかなかった(Open in WSLしてからやってもなぜかWindows側が使われる)。
なんか設定あるのかな?、と思ってDev Containers: Settingsを開くとそれっぽい項目があって、チェックを入れるとうまく動いた。
1年くらい前に実装されたものなので、それより前に書かれた記事では考慮できてなさそう。