NAND Dump - структура

ErikPshat · 16.09.2009, 09:15

Для начала определимся, что же такое NAND-память консоли PSP?

NAND-память - это по сути чип флеш-памяти. Более подробнее об этом можно ознакомиться в Википедии.
На PSP мы уже знаем, что существует 4 области памяти - это Flash0, Flash1, Flash2, Flash3.
И конечно это не 4 чипа памяти, как наверное думают некоторые.

На самом деле это один чип Samsung K5E5658HCM-D060, состоящий из двух областей, можно сказать чипов, сопряжённых в одном корпусе (один чип монтируется поверх другого, и заливается термостойким компаундом):

Первая область ROM - это как раз чип NAND 32MB flash memory. Туда записывается загрузчик IPL вначале, затем ключи IdStorage, ну и сама прошивка.
Вторая область RAM - это внутренняя оперативная кэш-память 32MB 333MHz DDR SDRAM memory (8MB reserved for kernel), куда кэшируются, необходимые в определённый момент, файлы выполняемой игры, программы или плагинов и необходимые для их функционирования и отображения файлы прошивки.

Подробнее о чипе

У Слим и Брайт соответственно объём Оперативки и EEPROM увеличен в два раза и составляет 64/64 MB. Сама память никаких операций выполнять не может, а может только хранить информацию, а вот управление записи/считывания информации берёт на себя контроллёр памяти - это отдельная квадратная микросхема.

NAND разделён на логические разделы, где раздел Flash0 является основным системным и где храниться прошивка PSP. Остальные разделы поделены на логические области. Flash1 хранит настройки системы, куки и историю веб-браузера. Flash2 хранит данные о покупках в PSN-магазине, а Flash3 пока никак не используется.

Но, кроме этих видимых 4-ёх размеченных областей, существует ещё скрытая неразмеченная область.
Эта секретная область находиться в начале флеш-памяти и содержит две наиболее важных вещи:

IPL - загрузчик прошивки PSP
IDStorage - содержит ключи, информацию об оборудовании, регионе, модели и пр.

Причём область IPL и Flash0 являются зашифрованными. Вы привыкли, когда на кастомной прошивке подключаетесь к Flash0, то явно видите файлы PRX и RCO в явном виде, разложенные по папочкам. Но на самом деле, в прошивке файлы лежат в другом, зашифрованном виде. Это когда вы делаете подключение по USB к области Flash0, то специальный драйвер дешифрует на лету область памяти и представляет вам файлы в таком виде, как будто бы они так там и лежат. Кроме того, как вы и сами знаете, сами файлы так же являются зашифрованными. Таким образом, во время работы PSP, происходит двойной процесс расшифровки - сначала самой области Flash0, затем файлов прошивки во временную кэш-память. На этом первое короткое знакомство думаю можно закончить.

Речь у нас пойдёт о более важном. Нас сейчас более интересует структура NAND-памяти.
А изучить её нам помогут несколько полезных утилит.
Вы уже наверняка знаете, как снять Nand-Dump. Это можно сделать множеством всяких программ, например Пандорой или NandTool, который входит в состав "Pandora ELF & PBP Menu", так же в комплект программы входит IPL-Dumper и множество подобных сервисных утилит.

Что такое Nand-Dump?
Это точная копия байт-в-байт микросхемы памяти NAND, содержащей всю память PSP. Это загрузочный IPL, ключи IDStorage, Flash1 cо всеми настройками PSP, Flash2 с данными о покупках в PSN, Flash3. В общем всё всё всё.
Впоследствии, с этого Nand-Dump-а можно легко восстановить систему в точности такой, какой она была на момент снятия дампа.

Если кому интересно, то тут я выложил для изучения полный комплект дампов прошивок 3.71-6.00.
Внимание! Дампы сняты с моей PSP-1004 Phat, на другие PSP заливать нельзя!
Только для изучения!

Дампов IPL официальных прошивок.
Дампов IPL кастомных прошивок.
Полных дампов NAND официальных прошивок.
Полных дампов NAND кастомных прошивок.

Скачать (осторожно 330 МБ)

NAND-DUMP

IPL
Initial Program Loader

Предисловие и технические данные:

Что такое сектор (страница)?
Один сектор = 512 байт.
Если рассматривать структуру диска Флеш, например через Hex-редактор, то станет понятно, что все данные записываются на диск согласно правилу:
Сектор - это минимальная область пространства, которое не может делиться пополам или ещё как-то и может содержать только одного вида данные, т.е. данные части одного файла. Например, другой файл не может начинаться в секторе, содержащем конец предыдущего файла, даже если остаётся свободное место.
Кроме того, файловая структура PSP и не только, организована так, что минимум на каждый файл отводится 32 сектора. То есть, если даже конец файла заканчивается в первом секторе очередного блока из 32-ух секторов, то остальное свободное пространство на 31 сектор неизменно остаётся пустым и полностью принадлежит только этому файлу. Никакой другой файл не может начинаться с занятого блока.

Что такое избыточный код?
Избыточный код, это код в 16 байт, который добавляется к концу каждого сектора. Этот код содержит технические данные о каждом секторе - позиционирование сектора в нанде и ECC(код коррекции ошибок). Поэтому, при рассмотрении Нанд-дампа следует учитывать это. То есть, после каждых 512 байт всегда следует 16 байт избыточного кода. Эту структуру мы видим в сыром (RAW) Nand-дампе. Но если подключить любую область Nand(flash0/1/2/3) к компьютеру, как логический диск, то "избыточный код" выдаваться не будет и вы его не увидите.

Что такое блок?
Один блок - это 32 сектора * 512 байт + 32 сектора * 16 байт избыточного кода = 16896 байт.

Что такое область IPL в Нанд-дампе?
Секция IPL занимает 0-47 блоки (48 блоков) = 48*(32*512) + 48*(32*16) = 811008 байта от начала Nand, как раз точную сумму всех ниже описанных пунктов.

Что представляет IPL на флеш-диске?
В чистый IPL на флеш-диске, избыточный код не включается и содержит он в чистом виде 114688 байт, что равняется 224 секторам и если прибавить столько же строк по 16 байт (224*16), то получим грязный код в Nand-Dampe = 118272 - это та самая сумма во втором пункте!!!

Ещё раз о правилах!
Ещё прослеживается закономерность, что каждая область обязательно делиться по секторам точно без остатка, то есть на 512, да ещё обязательно кратное 32.

За основу для рассмотрения я взял Нанд-Дампы официальной и кастомной прошивок версии 5.00.

Структура IPL в Нанд-Дампе официальной прошивки

При рассмотрении области IPL, на основе некоторых фактов, я логически разделил её на несколько частей. Почему я это сделал? А потому, что каждая из этих частей разделена пустым пространством, содержащим сплошной код FFFFFFFF превышающий 512 байт. А мы знаем, что каждые 512 байт должен присутствовать избыточный код в 16 байт, разделяющий сектора, содержащего техническую информацию о своём секторе. Это даёт повод судить о том, что где прекращается избыточный код, там заканчивается логическая структура данных/файла.

Первые 67584 байт NAND-памяти PSP не содержит никаких данных и забита сплошным кодом FFFFFFFF.

128 секторов по 512 байт/сектор + 128 * 16 избыточных данных = 67584 байт.

Т.к. после каждого сектора идёт 16 байт дополнительного кода, а секторов 128, то дополнительного кода получается 128 * 16.
Обычно сектора идут один за другим непрерывно, но эти 16 байт, добавляемых нанд-дампером, получается сдвигают каждый последующий сектор, поэтому я этот лишний код называю "Избыточным".

Начало Нанд-дампа
В 67584 байте начинается некая размеченная область, забитая нулями, размером в 135168 байт, находящаяся в середине первой пустой области.
От 67584 (0x10800 HEX) по 202752 (0х31800 HEX)

256 секторов * 512 + 256 секторов * 16 байт избыточного кода = 135168 байт.

Эта область содержит какую-то разметку, а данные этой разметки несколько отличаются от данных IPL кастомной прошивки, о чём будет указано в отдельной главе по Нанд-дампу М33.

67584 (0х10800)
От 202752 (0х31800) по 270336 (0х42000) снова идёт пустое пространство забитое сплошными FFFFFFFF, размером опять 67584 байта, как в первой пустой области.

128 секторов по 512 байт/сектор + 128 * 16 избыточных данных = 67584 байт.

202752 (0х31800)
Область официального IPL Sony.
От 270336 (0х42000) по 388608 (0х5EE00) находиться код с данными официального IPL загрузчика прошивки Sony и содержит 118272 байта. Как раз эта область дампиться IPL-дампером, входящим в состав Pandora ELF Menu и сохраняется в корне карты памяти под названием enc_ipl.bin.

224 секторов * 512 байт + 224 сектора * 16 байт избыточного кода = 118272 байт.

Очень странно, что остальная область IPL не дампиться в файл с помощью IPL Dumper, хотя в NandTool указывается область блоков 0-47.

Если верить NandTool, то 48 блоков по 32 сектора в блоке, должны иметь 1536 секторов по 512 байт, что даёт 786432 байт, плюс по 16 байт избыточного кода к каждому из 1536-ти секторов.

Итого 811008 байт - полная область IPL от самого начала.
Сюда уже входят 67584 байт пустоты вначале, 135168 байт размеченной пустой области, ещё 67584 байт пустоты и 118272 байта части IPL, которая дампиться через IPL Dumper. Это всего лишь 388608 байт из 811008 байт от всей области IPL.
Куда же делись оставшиеся 422400 байт? Об этом мы узнаем далее...

Официальный IPL Sony
Далее, от 388608 (0х5ЕЕ00) по 422400 (0х67200) идёт следующая область IPL, содержащего 33792 байта.

64 сектора * 512 байт + 64 сектора * 16 байт = 33792 байта.

388608 (0х5ЕЕ00)
Затем в 422400 (0х67200) по 439296 (0х6B400) находиться ещё часть кода 16896 байт. Заметьте, что 32 сектора - это минимальная единица записи данных. Даже если данные помещаются в 1 сектор, то по любому занимается 32 сектора.

32 сектора по 512 байт + 32 сектора * 16 байт = 16896 байт.

422400 (0х67200)
Ну и с 439296 (0х6B400) по 811008 (0хC6000) идёт сплошная пустая область, заполненная FFFFFFFF.

Занимает она 371712 байт = 704 сектора * 512 байт + 704 сектора * 16 байт.

439296 (0х6B400)

Итак, подытожим.
Сложим все 7 пунктов: 67584 + 135168 + 67584 + 118272 + 33792 + 16896 + 371712 = 811008.

Как видим и как ни странно, у нас всё сошлось до байта! Причём все числа делятся на 32 и на 512 без остатка.

Посмотрим по секторам: 128 + 256 + 128 + 224 + 64 + 32 + 704 = 1536 секторов чистого кода, не считая избыточного.
Вот такая вот математика.

IDStorage

Пока этот раздел не особо интересует, поэтому так, несколько набросков...

В 1651-ом секторе непонятный кусок данных на 6 секторов.

В 1683-ем секторе ещё непонятный кусок данных на 7 секторов.

Далее в 1721 секторе 881232 байта от начала начинается первый ключ IDStorage 0x0004, содержащий первые данные и далее.

FLASH-0,1,2,3

1115120 байт от начала начинается область FLASH-0,1,2,3.

На PSP-100х Phat

Flash 0 size: 24'576 KB х 1024 = 25'165'824 байт
Flash 1 size:  4'096 KB х 1024 =  4'194'304 байт
Flash 2 size:  1'024 KB х 1024 =  1'048'576 байт
Flash 3 size:    960 KB х 1024 =    983'040 байт

Диапазон Flash 0 =  1'115'120 - 26'280'944
Диапазон Flash 1 = 26'280'944 - 30'475'248
Диапазон Flash 2 = 30'475'248 - 31'523'824
Диапазон Flash 3 = 31'523'824 - 32'506'864

На PSP Slim & Brite

Flash 0 size: 41984 KB х 1024 = 42'991'616 байт
Flash 1 size: 5120 KB х 1024  =  5'242'880 байт
Flash 2 size: 4096 KB х 1024  =  4'194'304 байт
Flash 3 size: 9344 KB х 1024  =  9'568'256 байт

Диапазон Flash 0 =  1'115'120 - 44'106'736
Диапазон Flash 1 = 44'106'736 - 49'349'616
Диапазон Flash 2 = 49'349'616 - 53'543'920
Диапазон Flash 3 = 53'543'920 - 63'112'176

Yoti · 16.09.2009, 17:22

Таки написал? Молодцом!

ErikPshat · 16.09.2009, 20:39

Yoti, да, я всё-таки вычислил, где находится этот IPL ))).

Теперь хоть знаю, что он из себя представляет.
А это я сюда написал, чтобы на бумажках не писать, а то они постоянно теряются.
Я уже снял все дампы IPL и Nand-Dump, начиная с 3.71 по 6.00 OFW&CFW.
Теперь сижу сравниваю, что там такого DAX менял на каждой прошивке...

**Dovovoy** · 21.09.2009, 18:27

Сообщение от ErikPshat

Я уже снял все дампы IPL и Nand-Dump, начиная с 3.71 по 6.00 OFW&CFW.
Теперь сижу сравниваю, что там такого DAX менял на каждой прошивке...

как результаты? есть продвижения?

TohaMEN · 21.09.2009, 20:25

Чувствую скоро прошивка новая будет 6.00 (pspx) от Эрика. Я ее сразу поставлю если такая выйдет

ErikPshat · 21.09.2009, 21:16

Сообщение от Dovovoy

как результаты? есть продвижения?

О результатах пока говорить рановато.

Но продвижения есть значительные!

А именно:

Я полностью изучил всю структуру IPL до каждого байтика.
Я прекрасно вижу, что на кастомпрошивке - IPL официальной прошивки лежит вообще нетронутый и в девственном закриптованном виде. То есть, для создания кастомпрошивки, нет необходимости его вообще декриптовать и как-то править.
Я отчётливо вижу, к какой хитрости прибег Dark Alex ))). Я вообще поражаюсь, как он, ни капли не прикасаясь к загрузчику прошивки IPL и файлам оффпрошивки, создал кастомпрошивку и сделал так, чтобы она загружалась.
Я вижу эту область Pre-IPL, которую встроил Dark Alex и которая занимает всего 16 кб, и которая лежит в незапакованном виде (декриптованном).
Я вижу в этой области Pre-IPL - декриптованный файл pspbtсnf.bin, который занимает почти всю эту область и содержит пути загрузки файлов прошивки в VSH (XMB). Последним в списке загрузки записывается единственный кастомный файл systemctrl.prx, который является главным исполняемым файлом кастомпрошивки. Именно от него идут все команды функционирования прошивки.

В общем я прекрасно всё вижу )))

Для создания кастомпрошивки 6.00 требуются два условия:

Нужно подправить файл pspbtсnf.bin в IPL всоответствии с прошивкой 6.00, который в ней лежит в папке "KD" и в которой очерёдность загрузки файлов прошивки изменилась однозначно, причём удалились несколько файлов и добавилось новых.
Нужно править файл systemctrl.prx для управления новой структурой файлов новой прошивки.

You-Are-Pwned · 21.09.2009, 21:40

Сообщение от ErikPshat

О результатах пока говорить рановато.

Но продвижения есть значительные!

А именно:

Я полностью изучил всю структуру IPL до каждого байтика.
Я прекрасно вижу, что на кастомпрошивке - IPL официальной прошивки лежит вообще нетронутый и в девственном закриптованном виде. То есть, для создания кастомпрошивки, нет необходимости его вообще декриптовать и как-то править.
Я отчётливо вижу, к какой хитрости прибег Dark Alex ))). Я вообще поражаюсь, как он, ни капли не прикасаясь к загрузчику прошивки IPL и файлам оффпрошивки, создал кастомпрошивку и сделал так, чтобы она загружалась.
Я вижу эту область Pre-IPL, которую встроил Dark Alex и которая занимает всего 16 кб, и которая лежит в незапакованном виде (декриптованном).
Я вижу в этой области Pre-IPL - декриптованный файл pspbtсnf.bin, который занимает почти всю эту область и содержит пути загрузки файлов прошивки в VSH (XMB). Последним в списке загрузки записывается единственный кастомный файл systemctrl.prx, который является главным исполняемым файлом кастомпрошивки. Именно от него идут все команды функционирования прошивки.

В общем я прекрасно всё вижу )))

Для создания кастомпрошивки 6.00 требуются два условия:

Нужно подправить файл pspbtсnf.bin в IPL всоответствии с прошивкой 6.00, который в ней лежит в папке "KD" и в которой очерёдность загрузки файлов прошивки изменилась однозначно, причём удалились несколько файлов и добавилось новых.
Нужно править файл systemctrl.prx для управления новой структурой файлов новой прошивки.

Да, да... А я, вот, про vshctrl давно знал. Очень давно!
Как-то попробовал вставить vshctrl из 5.00 M33-4 в 5.50 GEN-A.
PSP запустилась (я думал, что вообще будет черный экран). Полез в System Settings, PSP зависла.
Вторая попытка: запустил PSP, перешел в GAME - MS. Запустил хомку, все сделалось также, как в оф. прошивке - Data is corrupted. На ISO он тоже отвечал - Data is corrupted.

Эрик, не забывай - vshctrl.prx это часть systemctrl.prx.
Дарк поделил systemctrl.prx на systemctrl.prx и vshctrl.prx.
Естессно в оф. проше vshctrl.prx нет, но он тоже важен.
Я скоро напишу свою статью, это всем поможет больше вникнуть в создание CFW. Она будет огроменная, обещаю. Будет куча скринов и еще больше разъяснений.

**Dovovoy** · 22.09.2009, 13:14

Сообщение от ErikPshat

.............

Сообщение от You-Are-Pwned

.............

спасибо за новости о продвижениях. К сожалению помочь сам не могу, хоть и очень хочу.

Кстати, ErikPshat, вопрос возник. А нельзя написать маленький дискриптер по расшифровке файлов, предназначенных для новых прошивок. типа дескриптера, чтобы переделать eboot с новых игр для запуска на старых прошивках? Или пока что не ясно, откуда какие ключи берутся?

я не гонюсь за запуском игр, сам почти и не играю ,а из новинок интересна только Little Big Planet, для развлечения вполне хватает возможности почитать книги и посмотреть видео. Просто интересно - можно ли вытащить нужные ключи для дискриптера?

Alezhek · 20.12.2009, 00:18

Сообщение от ErikPshat

Я отчётливо вижу, к какой хитрости прибег Dark Alex ))). Я вообще поражаюсь, как он, ни капли не прикасаясь к загрузчику прошивки IPL и файлам оффпрошивки, создал кастомпрошивку и сделал так, чтобы она загружалась.[*]Я вижу эту область Pre-IPL, которую встроил Dark Alex и которая занимает всего 16 кб, и которая лежит в незапакованном виде (декриптованном).[*]Я вижу в этой области Pre-IPL - декриптованный файл pspbtсnf.bin, который занимает почти всю эту область и содержит пути загрузки файлов прошивки в VSH (XMB). Последним в списке загрузки записывается единственный кастомный файл systemctrl.prx, который является главным исполняемым файлом кастомпрошивки. Именно от него идут все команды функционирования прошивки.

Поправлю немножко, а то путаница с терминами. Pre-IPL это 4кб код, зашитый в процессоре Сони, выполняющий его инициализацию, а также дешифровку и загрузку IPL. Поэтому увидеть его (без ухищрений) нельзя. И второе - Официальный - зашифрованный IPL, потому и оставлен как есть, что он не нужен) Взломан (точнее подписан) его первый 4кб кусочек - который передает управление непосредственно загрузчику модифицированной прошивки Дарк Алекса.

Yoti · 17.09.2009, 02:09

Эрик,
наша идея живее всех живых?! А я с vlf играюсь, что насчёт intrafont? На зызфаксе письмо не дошло?

ErikPshat · 17.09.2009, 03:04

Сообщение от Yoti

А я с vlf играюсь, что насчёт intrafont?

Мне же Энди больше не помог.
Можешь взглянуть на окончательный вариант с переведённым установщиком, который так и остался: https://www.pspx.ru/forum/showpost.ph...1&postcount=20 (см. вложение).

Может найдёшь косяк, почему при установке прошивки (с зажатым L при включении), выделение пунктов меню не совпадает. Там косяк только на первом экране, а всё остальное просто супер. Вот из-за этой мелочи не стал пускать в плавание.

Yoti · 17.09.2009, 15:17

Скачать это дело сам собирался, спасибо за линк. Насчёт косяка подумаю и попробую потрясти Энди.

**Dr.House** · 21.09.2009, 21:20

нет слов. одни слюни)

Yoti · 22.10.2009, 19:01

Кстати, Эрик, забыл написать - при восстановлении нандтул восстанавливает 44 блока, а не 47. Три блока на избыточную инфу отводится, чтоли?

Yoti · 23.10.2009, 20:14

ErikPshat, разобрался с неправильными выделениями. Жду мессаги в личку.

egvf · 21.11.2009, 00:03

Хочу высказать огромную благодарность ErikPshat за эту ОГРОМНУЮ статью ! Буду советовать эту статью всем , в качестве "Начальных сведений по файловой структуре PSP " (я сам очень далек от всего этого , но эта статья супер!!!) Спасибо!

**doubledeath** · 26.11.2009, 12:56

мне тоже очень понравилась эта статья, впринципе все понятно, приятно и полезно почитать для "общего развития", молодец ErikPshat

Yoti · 20.12.2009, 18:45

Я долго смеялся, увидев ссылку. Эрик там ежедневно бывает =)

Yoti добавил 20-12-2009 в 18:45
Ипл грузится с опредлённого адреса, в кастом прошах там даксовый файлик с путями.

Coby · 24.12.2009, 01:15

1. можно ли как нибудь проверить NAND на целостность? в смысле слитый с консоли файл
2. если слить свои IdStorage, потом залить чужой NAND полностью, консоль зажмурится, потом залить свои слитые IdStorage то консоль оживет?

Coby · 25.12.2009, 08:56

а где еще можно NAND дампы скачать?