Si usamos Gnome como entorno gráfico y cada vez que abrimos nautilus este se abre maximizado, podemos evitar dicho comportamiento ejecutando:

gsettings set org.gnome.mutter auto-maximize false