NAND Dump - структура - Страница 2

ErikPshat · 16.09.2009, 09:15

Для начала определимся, что же такое NAND-память консоли PSP?

NAND-память - это по сути чип флеш-памяти. Более подробнее об этом можно ознакомиться в Википедии.
На PSP мы уже знаем, что существует 4 области памяти - это Flash0, Flash1, Flash2, Flash3.
И конечно это не 4 чипа памяти, как наверное думают некоторые.

На самом деле это один чип Samsung K5E5658HCM-D060, состоящий из двух областей, можно сказать чипов, сопряжённых в одном корпусе (один чип монтируется поверх другого, и заливается термостойким компаундом):

Первая область ROM - это как раз чип NAND 32MB flash memory. Туда записывается загрузчик IPL вначале, затем ключи IdStorage, ну и сама прошивка.
Вторая область RAM - это внутренняя оперативная кэш-память 32MB 333MHz DDR SDRAM memory (8MB reserved for kernel), куда кэшируются, необходимые в определённый момент, файлы выполняемой игры, программы или плагинов и необходимые для их функционирования и отображения файлы прошивки.

Подробнее о чипе

У Слим и Брайт соответственно объём Оперативки и EEPROM увеличен в два раза и составляет 64/64 MB. Сама память никаких операций выполнять не может, а может только хранить информацию, а вот управление записи/считывания информации берёт на себя контроллёр памяти - это отдельная квадратная микросхема.

NAND разделён на логические разделы, где раздел Flash0 является основным системным и где храниться прошивка PSP. Остальные разделы поделены на логические области. Flash1 хранит настройки системы, куки и историю веб-браузера. Flash2 хранит данные о покупках в PSN-магазине, а Flash3 пока никак не используется.

Но, кроме этих видимых 4-ёх размеченных областей, существует ещё скрытая неразмеченная область.
Эта секретная область находиться в начале флеш-памяти и содержит две наиболее важных вещи:

IPL - загрузчик прошивки PSP
IDStorage - содержит ключи, информацию об оборудовании, регионе, модели и пр.

Причём область IPL и Flash0 являются зашифрованными. Вы привыкли, когда на кастомной прошивке подключаетесь к Flash0, то явно видите файлы PRX и RCO в явном виде, разложенные по папочкам. Но на самом деле, в прошивке файлы лежат в другом, зашифрованном виде. Это когда вы делаете подключение по USB к области Flash0, то специальный драйвер дешифрует на лету область памяти и представляет вам файлы в таком виде, как будто бы они так там и лежат. Кроме того, как вы и сами знаете, сами файлы так же являются зашифрованными. Таким образом, во время работы PSP, происходит двойной процесс расшифровки - сначала самой области Flash0, затем файлов прошивки во временную кэш-память. На этом первое короткое знакомство думаю можно закончить.

Речь у нас пойдёт о более важном. Нас сейчас более интересует структура NAND-памяти.
А изучить её нам помогут несколько полезных утилит.
Вы уже наверняка знаете, как снять Nand-Dump. Это можно сделать множеством всяких программ, например Пандорой или NandTool, который входит в состав "Pandora ELF & PBP Menu", так же в комплект программы входит IPL-Dumper и множество подобных сервисных утилит.

Что такое Nand-Dump?
Это точная копия байт-в-байт микросхемы памяти NAND, содержащей всю память PSP. Это загрузочный IPL, ключи IDStorage, Flash1 cо всеми настройками PSP, Flash2 с данными о покупках в PSN, Flash3. В общем всё всё всё.
Впоследствии, с этого Nand-Dump-а можно легко восстановить систему в точности такой, какой она была на момент снятия дампа.

Если кому интересно, то тут я выложил для изучения полный комплект дампов прошивок 3.71-6.00.
Внимание! Дампы сняты с моей PSP-1004 Phat, на другие PSP заливать нельзя!
Только для изучения!

Дампов IPL официальных прошивок.
Дампов IPL кастомных прошивок.
Полных дампов NAND официальных прошивок.
Полных дампов NAND кастомных прошивок.

Скачать (осторожно 330 МБ)

NAND-DUMP

IPL
Initial Program Loader

Предисловие и технические данные:

Что такое сектор (страница)?
Один сектор = 512 байт.
Если рассматривать структуру диска Флеш, например через Hex-редактор, то станет понятно, что все данные записываются на диск согласно правилу:
Сектор - это минимальная область пространства, которое не может делиться пополам или ещё как-то и может содержать только одного вида данные, т.е. данные части одного файла. Например, другой файл не может начинаться в секторе, содержащем конец предыдущего файла, даже если остаётся свободное место.
Кроме того, файловая структура PSP и не только, организована так, что минимум на каждый файл отводится 32 сектора. То есть, если даже конец файла заканчивается в первом секторе очередного блока из 32-ух секторов, то остальное свободное пространство на 31 сектор неизменно остаётся пустым и полностью принадлежит только этому файлу. Никакой другой файл не может начинаться с занятого блока.

Что такое избыточный код?
Избыточный код, это код в 16 байт, который добавляется к концу каждого сектора. Этот код содержит технические данные о каждом секторе - позиционирование сектора в нанде и ECC(код коррекции ошибок). Поэтому, при рассмотрении Нанд-дампа следует учитывать это. То есть, после каждых 512 байт всегда следует 16 байт избыточного кода. Эту структуру мы видим в сыром (RAW) Nand-дампе. Но если подключить любую область Nand(flash0/1/2/3) к компьютеру, как логический диск, то "избыточный код" выдаваться не будет и вы его не увидите.

Что такое блок?
Один блок - это 32 сектора * 512 байт + 32 сектора * 16 байт избыточного кода = 16896 байт.

Что такое область IPL в Нанд-дампе?
Секция IPL занимает 0-47 блоки (48 блоков) = 48*(32*512) + 48*(32*16) = 811008 байта от начала Nand, как раз точную сумму всех ниже описанных пунктов.

Что представляет IPL на флеш-диске?
В чистый IPL на флеш-диске, избыточный код не включается и содержит он в чистом виде 114688 байт, что равняется 224 секторам и если прибавить столько же строк по 16 байт (224*16), то получим грязный код в Nand-Dampe = 118272 - это та самая сумма во втором пункте!!!

Ещё раз о правилах!
Ещё прослеживается закономерность, что каждая область обязательно делиться по секторам точно без остатка, то есть на 512, да ещё обязательно кратное 32.

За основу для рассмотрения я взял Нанд-Дампы официальной и кастомной прошивок версии 5.00.

Структура IPL в Нанд-Дампе официальной прошивки

При рассмотрении области IPL, на основе некоторых фактов, я логически разделил её на несколько частей. Почему я это сделал? А потому, что каждая из этих частей разделена пустым пространством, содержащим сплошной код FFFFFFFF превышающий 512 байт. А мы знаем, что каждые 512 байт должен присутствовать избыточный код в 16 байт, разделяющий сектора, содержащего техническую информацию о своём секторе. Это даёт повод судить о том, что где прекращается избыточный код, там заканчивается логическая структура данных/файла.

Первые 67584 байт NAND-памяти PSP не содержит никаких данных и забита сплошным кодом FFFFFFFF.

128 секторов по 512 байт/сектор + 128 * 16 избыточных данных = 67584 байт.

Т.к. после каждого сектора идёт 16 байт дополнительного кода, а секторов 128, то дополнительного кода получается 128 * 16.
Обычно сектора идут один за другим непрерывно, но эти 16 байт, добавляемых нанд-дампером, получается сдвигают каждый последующий сектор, поэтому я этот лишний код называю "Избыточным".

Начало Нанд-дампа
В 67584 байте начинается некая размеченная область, забитая нулями, размером в 135168 байт, находящаяся в середине первой пустой области.
От 67584 (0x10800 HEX) по 202752 (0х31800 HEX)

256 секторов * 512 + 256 секторов * 16 байт избыточного кода = 135168 байт.

Эта область содержит какую-то разметку, а данные этой разметки несколько отличаются от данных IPL кастомной прошивки, о чём будет указано в отдельной главе по Нанд-дампу М33.

67584 (0х10800)
От 202752 (0х31800) по 270336 (0х42000) снова идёт пустое пространство забитое сплошными FFFFFFFF, размером опять 67584 байта, как в первой пустой области.

128 секторов по 512 байт/сектор + 128 * 16 избыточных данных = 67584 байт.

202752 (0х31800)
Область официального IPL Sony.
От 270336 (0х42000) по 388608 (0х5EE00) находиться код с данными официального IPL загрузчика прошивки Sony и содержит 118272 байта. Как раз эта область дампиться IPL-дампером, входящим в состав Pandora ELF Menu и сохраняется в корне карты памяти под названием enc_ipl.bin.

224 секторов * 512 байт + 224 сектора * 16 байт избыточного кода = 118272 байт.

Очень странно, что остальная область IPL не дампиться в файл с помощью IPL Dumper, хотя в NandTool указывается область блоков 0-47.

Если верить NandTool, то 48 блоков по 32 сектора в блоке, должны иметь 1536 секторов по 512 байт, что даёт 786432 байт, плюс по 16 байт избыточного кода к каждому из 1536-ти секторов.

Итого 811008 байт - полная область IPL от самого начала.
Сюда уже входят 67584 байт пустоты вначале, 135168 байт размеченной пустой области, ещё 67584 байт пустоты и 118272 байта части IPL, которая дампиться через IPL Dumper. Это всего лишь 388608 байт из 811008 байт от всей области IPL.
Куда же делись оставшиеся 422400 байт? Об этом мы узнаем далее...

Официальный IPL Sony
Далее, от 388608 (0х5ЕЕ00) по 422400 (0х67200) идёт следующая область IPL, содержащего 33792 байта.

64 сектора * 512 байт + 64 сектора * 16 байт = 33792 байта.

388608 (0х5ЕЕ00)
Затем в 422400 (0х67200) по 439296 (0х6B400) находиться ещё часть кода 16896 байт. Заметьте, что 32 сектора - это минимальная единица записи данных. Даже если данные помещаются в 1 сектор, то по любому занимается 32 сектора.

32 сектора по 512 байт + 32 сектора * 16 байт = 16896 байт.

422400 (0х67200)
Ну и с 439296 (0х6B400) по 811008 (0хC6000) идёт сплошная пустая область, заполненная FFFFFFFF.

Занимает она 371712 байт = 704 сектора * 512 байт + 704 сектора * 16 байт.

439296 (0х6B400)

Итак, подытожим.
Сложим все 7 пунктов: 67584 + 135168 + 67584 + 118272 + 33792 + 16896 + 371712 = 811008.

Как видим и как ни странно, у нас всё сошлось до байта! Причём все числа делятся на 32 и на 512 без остатка.

Посмотрим по секторам: 128 + 256 + 128 + 224 + 64 + 32 + 704 = 1536 секторов чистого кода, не считая избыточного.
Вот такая вот математика.

IDStorage

Пока этот раздел не особо интересует, поэтому так, несколько набросков...

В 1651-ом секторе непонятный кусок данных на 6 секторов.

В 1683-ем секторе ещё непонятный кусок данных на 7 секторов.

Далее в 1721 секторе 881232 байта от начала начинается первый ключ IDStorage 0x0004, содержащий первые данные и далее.

FLASH-0,1,2,3

1115120 байт от начала начинается область FLASH-0,1,2,3.

На PSP-100х Phat

Flash 0 size: 24'576 KB х 1024 = 25'165'824 байт
Flash 1 size:  4'096 KB х 1024 =  4'194'304 байт
Flash 2 size:  1'024 KB х 1024 =  1'048'576 байт
Flash 3 size:    960 KB х 1024 =    983'040 байт

Диапазон Flash 0 =  1'115'120 - 26'280'944
Диапазон Flash 1 = 26'280'944 - 30'475'248
Диапазон Flash 2 = 30'475'248 - 31'523'824
Диапазон Flash 3 = 31'523'824 - 32'506'864

На PSP Slim & Brite

Flash 0 size: 41984 KB х 1024 = 42'991'616 байт
Flash 1 size: 5120 KB х 1024  =  5'242'880 байт
Flash 2 size: 4096 KB х 1024  =  4'194'304 байт
Flash 3 size: 9344 KB х 1024  =  9'568'256 байт

Диапазон Flash 0 =  1'115'120 - 44'106'736
Диапазон Flash 1 = 44'106'736 - 49'349'616
Диапазон Flash 2 = 49'349'616 - 53'543'920
Диапазон Flash 3 = 53'543'920 - 63'112'176

**doubledeath** · 26.11.2009, 12:56

мне тоже очень понравилась эта статья, впринципе все понятно, приятно и полезно почитать для "общего развития", молодец ErikPshat

Alezhek · 20.12.2009, 00:18

Сообщение от ErikPshat

Я отчётливо вижу, к какой хитрости прибег Dark Alex ))). Я вообще поражаюсь, как он, ни капли не прикасаясь к загрузчику прошивки IPL и файлам оффпрошивки, создал кастомпрошивку и сделал так, чтобы она загружалась.[*]Я вижу эту область Pre-IPL, которую встроил Dark Alex и которая занимает всего 16 кб, и которая лежит в незапакованном виде (декриптованном).[*]Я вижу в этой области Pre-IPL - декриптованный файл pspbtсnf.bin, который занимает почти всю эту область и содержит пути загрузки файлов прошивки в VSH (XMB). Последним в списке загрузки записывается единственный кастомный файл systemctrl.prx, который является главным исполняемым файлом кастомпрошивки. Именно от него идут все команды функционирования прошивки.

Поправлю немножко, а то путаница с терминами. Pre-IPL это 4кб код, зашитый в процессоре Сони, выполняющий его инициализацию, а также дешифровку и загрузку IPL. Поэтому увидеть его (без ухищрений) нельзя. И второе - Официальный - зашифрованный IPL, потому и оставлен как есть, что он не нужен) Взломан (точнее подписан) его первый 4кб кусочек - который передает управление непосредственно загрузчику модифицированной прошивки Дарк Алекса.

ErikPshat · 20.12.2009, 04:16

Alezhek
По поводу PRE-IPL я делал поправку в статье. Это я так назвал модифицированную область и я прекрасно представляю, что такое PRE-IPL процессора. В моём описании речь идёт о другом PRE-IPL, просто потому, что он находится перед официальным IPL.

По поводу взломанного перевого кусочка IPL я не понял. По-моему, он там никак не затронут.

Alezhek · 20.12.2009, 18:28

Не знаю, можно ли на этом форуме постить ссылки на сторонние ресурсы, но вот тут это подробно расписано: принцип атаки на ПреИПЛ
Да, забыл.. речь конечно же идет о Зашифрованном ИПЛ!!! - т.е. в прошивке Сони и ДАКСа они разные - особенно первый "подписанный" блок

Yoti · 20.12.2009, 18:45

Я долго смеялся, увидев ссылку. Эрик там ежедневно бывает =)

Yoti добавил 20-12-2009 в 18:45
Ипл грузится с опредлённого адреса, в кастом прошах там даксовый файлик с путями.

Coby · 24.12.2009, 01:15

1. можно ли как нибудь проверить NAND на целостность? в смысле слитый с консоли файл
2. если слить свои IdStorage, потом залить чужой NAND полностью, консоль зажмурится, потом залить свои слитые IdStorage то консоль оживет?

Alezhek · 25.12.2009, 01:05

Сообщение от ErikPshat

Только не пойму, о каких 4 байтах ты говоришь, когда достоверно вычислено, что официальная прошивка в точности соответствует кастомной, за исключением вставленных перед IPL 16384 байт Dark_Alex-a, что представляет из себя файл с путями, по аналогии с pspbtcnf.bin

Не 4 байта, 4 кб кусочек IPL , это следует из статьи на сайте SilverSpring http://silverspring.lan.st/
Ага! вот почему эта область у ДАркАлекса больше!

Now the CPU is executing from the scratchpad RAM (the preipl payload).
The preipl payload inits the nand hardware and reads the IPL
nand-block-table (a table with the physical block numbers of the
ecnrypted IPL's location on the nand). The table is located at the
4th physical block of the nand (offset 0x10000), and is repeated for
the next 7 blocks. This is so that if a bad block occurs in any of
these blocks, the table can still be read. Though if all 8 blocks
become bad blocks, its a non-recoverable brick as the preipl can no
longer locate the IPL's location (the only solution to this problem
is to either boot from MS instead, or use a custom IPL to patch the
preipl to remap the table - both of which would still require Pandora).

т.е. там находится таблица расположения файлов, причем повторяющаяся 8 раз (для надежности)

Coby · 25.12.2009, 08:56

а где еще можно NAND дампы скачать?

ErikPshat · 26.12.2009, 02:32

Coby, а если ты снимешь дамп со своей PSP, то это будет считаться, что он здесь уже есть или был?

Coby · 26.12.2009, 06:07

ErikPshat,
мне нужен дамп с 3.60... а у тебя насколько я знаю fat...
я снял дампы со всех прошивок начиная с 3.71,
хочу найти дамп с 3.60, залить ключи, и слить уже как свой, затем обновиться до 3.70
вобщем двух дампов не хватает

Yoti · 26.12.2009, 13:28

Coby,
на 1000 ты 3.60 не поставишь, а на 2000 (не ТА088-3) не проблема.
ErikPshat,
я уже писал тебе, что у СильверСпринга много всего хорошего написано.

Coby · 26.12.2009, 14:09

Сообщение от Yoti

а на 2000 (не ТА088-3) не проблема.

а подробнее?)) проще 3.60 только наверное NAND залить, т.к. с через пандору она ставится сложновато))

Yoti · 26.12.2009, 22:12

Coby, зачем забивать гвозди микроскопом?

Сообщение от Recovery Flasher v1.60 README

NOTE: For restoring a 3.60-M33 on the Slim, use the 3.52 updater (352.PBP)

.

Coby · 26.12.2009, 23:32

Сообщение от Yoti

Recovery Flasher v1.60 README NOTE: For restoring a 3.60-M33 on the Slim, use the 3.52 updater (352.PBP)
.

я знаю про это, дак там чтобы вернуться на 3.60 нужен бэкап, снятый им же Recovery Flasher'ом

Yoti · 27.12.2009, 03:21

А нафига тогда 352.PBP нужен? Файлы из него идут. Вообще, от 3.60 только psar в инете гулял - я его для тайм машины качал.

Coby · 27.12.2009, 04:16

RF оттуда только апдейтеры берет, остальные кишки нужны ввиде бэкапа

ErikPshat · 27.12.2009, 04:20

Coby, ты проверял? Или в редми так написано?
Тогда где найти прошивку 3.60, если она только поставлялась с завода с новыми слимками. А может есть игры с таким обновлением, хотя вряд-ли.

Да и зачем тебе это надо. Ведь есть же куча других прошивок, с которыми можно работать. Достаточно иметь три дампа, чтобы понять, где и какие изменения происходили от прошивки к прошивке.

Coby · 27.12.2009, 04:38

Сообщение от ErikPshat

Coby, ты проверял? Или в редми так написано?

в мануалах к пандоре 3.60 написано что нужно эти апдейтеры извлечь из 352.PBP без них не прошьешься
думаю что RF они нужны для этого же

Тогда где найти прошивку 3.60, если она только поставлялась с завода с новыми слимками. А может есть игры с таким обновлением, хотя вряд-ли.

игр нету, поставить 3.60 можно насколько я понял только двумя способами
1. это залить NAND
2. это пандора, но вся сложность в том для исталляции этой пандоры нужна FAT консоль т.к. проги написаны под 1.50 kernel
и всякие приблуды типа eLoader их не запускают как ни старайся
сама прошивка сущесвует только в виде psar файла

Да и зачем тебе это надо.

после долгих мучении и попыток поставить ее, я просто забил на это))
просто я cпросил про NAND т.к. едисвенный реальный шанс))

ErikPshat · 27.12.2009, 04:43

Сообщение от Coby

просто я cпросил про NAND т.к. едисвенный реальный шанс))

Да, но ты не просил Нанд от 3.60 =)
Если в пандоре так написано, значит есть PSAR и в инете он должен валятся. Если найдёшь, то я тебе соберу прошивку, какие проблемы ))

Coby · 27.12.2009, 04:50

Сообщение от ErikPshat

Да, но ты не просил Нанд от 3.60 =)
Если в пандоре так написано, значит есть PSAR и в инете он должен валятся. Если найдёшь, то я тебе соберу прошивку, какие проблемы ))

ок.
я по английски не очень но насколько я понял из редми
перед тем как поставить эту 3.60M33 нужно снять NAND дамп с оф. 3.60
это может сам установщик пандоры
потом из этого NAND в HEX редакторе нужно извлечь IPL для нее
поэтому я и подумал что бэкапы где-то должны быть))