Add `without_main` flag (#17074)