Разобрался в чем проблема. Вызов cmd.exe и консольный режим в программе работают не совсем корректно.
Дело в том, что при выборе пункта 3 или 8.8 выполняется команда "cmd.exe /c make_pkg.bat 4" или "cmd.exe /c extract_base.bat" соответственно.
Cmd.exe запускается в 32-битном режиме (т.е. вызов идет через %windir%/syswow64/cmd.exe, а должен по идее через %windir%/system32/cmd.exe), поэтому максимальный объем динамической памяти для этого приложения составит 2гб. Происходит это потому что gui-приложение make_pkg.exe тоже 32-битное.
Так как в процессе генерации rif-файлов приложение cmd.exe рекурсивно выполняюшее ps3xploit_rifgen_edatresign начинает сжирать всю выделеную для него память, то при достижении лимита в 2гб оно просто крашится. Происходит это как раз после генерации примерно 8,5 тыс. файлов.
Костыль такой - запустить принудительно 64-битную версию cmd.exe (%windir%/system32/cmd.exe), и из него выполнить уже tools/extract_base.bat. В этом случае проблемы с лимитом памяти не возникнет.
