Начинающие реверсеры, еще не познавшие все прелести чистого
ассемблера, постоянно спрашивают на хакерских форумах, где бы им
раздобыть декомпилятор для Си или Паскаля. Декомпиляторов-то много, но вот результат... без дизассемблера все равно ну никак не обойтись. И вот, наконец, свершилось!
Ильфак (автор легендарного дизассемблера IDA Pro) выпустил декомпилятор нового поколения
HexRays, делающий то, что другим не под силу. Мир
вздрогнул от восторга (реклама вообще обещала чудо), порождая
сейсмические волны впечатлений: от оргазма до полного отвращения.
Истина же, как водится, где-то посередине, и стоит обозначить эту
середину, рассмотрев слабые и сильные стороны декомпилятора, а также
области его применения.
Почему у Ильфака получилось то, что упорно не желало получаться у других? Начнем с того, что
HexRay представляет собой всего лишь плагин к IDA Pro —
интерактивному дизассемблеру более чем с десятилетней историей, первая
версия которой увидела свет 6 мая 1991 года. Спустя некоторое время к
работе над ней подключился удивительный человек, гениальный программист
и необычайно креативный кодер Юрий Харон. Вместе с Ильфаком (не без
помощи других талантливых парней, конечно) они начали работать в том
направлении, куда еще никто не вкладывал деньги. До этого дизассемблеры
писались исключительно на пионерском энтузиазме параллельно с изучением
ассемблера и довольно быстро забрасывались. Ильфак и Юрий Харон решили
рискнуть. В итоге IDA Pro стал не только основным, но и, пожалуй, единственным продуктом фирмы
DataRescue (мелкие утилиты и прочие ответвления не в
счет). Стоит ли удивляться, что парням удалось решить практически все
фундаментальные проблемы дизассемблирования, над которыми просто не
хотели работать остальные разработчики, зная, что быстрой отдачи не
будет и проект потребует десятилетий упорного труда. Самое время
выяснить, что же это за проблемы такие, откуда они берутся и как
решаются.
Фундаментальные проблемы декомпиляции
Компиляция — процесс однонаправленный и
необратимый, в ходе которого теряется огромное количество лишней
информации, совершенно ненужной процессору. Это не шутка! Исходный
текст, написанный на языке высокого уровня, чрезвычайно избыточен, что
с одной стороны упрощает его понимание, а с другой — страхует
программиста от ошибок. Взять хотя бы информацию о типах. На низком
уровне процессор оперирует базовыми типами: байт, слово, двойное слово.
Строки превращаются в последовательности байтов, и, чтобы догадаться,
что это строка, приходится прибегать к эвристическим алгоритмам.
Структуры и классы также «расщепляются» в ходе компиляции, и, за
исключением некоторых виртуальных функций, все остальные члены класса
теряют свою кастовую принадлежность, становясь глобальными процедурами.
Восстановить иерархию классов в общем случае невозможно, а в принципе
не сильно и нужно.
Никто из здравомыслящих людей не требует от декомпилятора
получения даже приближенной копии исходного кода, но мы вправе
рассчитывать на удобочитаемость листинга, а также на то, что повторная
компиляция не развалит программу, а создаст вполне работоспособный
модуль — тогда мы сможем вносить любые изменения в декомпилированный текст, развивая его в нужном нам направлении. В противном случае такому
декомпилятору место на свалке, и фиксить баги декомпиляции ничуть не проще, чем переписывать подопытную программу с нуля.
Декомпиляции препятствует ряд серьезных проблем, важнейшие из которых перечислены ниже.
Что в имени твоем
Комментарии, имена функций и переменных в процессе компиляции
теряются безвозвратно (исключение составляют динамические типы, имена
которых в двоичном модуле хранятся как есть, а потому и тормозят,
словно динозавры). Ну, комментариев в большинстве исходных текстов и
так негусто, так что их отсутствие еще можно пережить, но вот без имен
переменных и функций логика работы даже простейших программ становится
совершенно непонятной.
К счастью, современные программы наполовину (а то и более) состоят
из библиотечных и API-функций, которые распознаются классическим
сигнатурным поиском. Главное — собрать обширную базу библиотек всех
популярных (и непопулярных) компиляторов с учетом многообразия их
версий.
IDA Pro уже давно поддерживает технологию FLIRT
(Fast Library Identification and Recognition Technology), не только
распознающую библиотечные функции, но также восстанавливающую их
прототипы вместе с прототипами API-функций, которые, кстати говоря,
могут импортироваться не только по имени, но еще и по ординалу, то есть
по номеру. Чтобы превратить бессловесный номер в имя, понятное
человеку, опять-таки требуется база.
Почему реконструкция прототипов так важна для декомпилятора?
А потому, что она позволяет восстанавливать типы передаваемых функциями
переменных, назначая им хоть и обезличенные, но все же осмысленные
имена в стиле: hWnd, hModule, X, Y, nWidth, nHeight, hCursor, hMenu,
hDlg. Согласись, это намного лучше, чем dword_1008030, dword_1008269,
dword_1006933, что характерно для подавляющего большинства остальных декомпиляторов.
Даже если часть переменных распознана, то это уже упрощает анализ программы и реконструкцию оставшихся переменных.
Константа или смещения
В силу архитектурных особенностей x86-процессоров константы и
смещения (они же в терминах языков высокого уровня указатели)
синтаксически абсолютно неразличимы, и декомпилятору (равно как и дизассемблеру) приходится задействовать мощные эвристические алгоритмы, чтобы не попасть впросак.
А какая между этими двумя сущностями разница? Очень большая! Вот,
например, в регистр EAX загружается число 106996h. Если это указатель
на ячейку памяти или массив данных, то дизассемблер должен воткнуть по
этому адресу метку (label) и написать MOV EAX, _offset_ lab_106996
(естественно, имя метки дано условно, и совпадение с ее численным
значением абсолютно случайно — при повторной компиляции она может
оказаться расположенной по совершенно другому адресу). А вот если
106996h — это константа, выражающая, например, среднюю плотность
тушканчиков на один квадратный метр лесополосы или количество полигонов
на морде монстра, то ставить offset ни в коем случае нельзя, поскольку
это введет нас в заблуждение при анализе, а еще, как уже говорилось,
при повторной компиляции смещение может уплыть, превращая число 106996h
черт знает во что. Программа либо будет работать неправильно, либо
сразу рухнет (особенно, если путаница между константами и смещениями
происходит не единожды, а совершается на протяжении всего листинга).
Так как же все-таки определить, кто есть кто? На первый взгляд, все
достаточно просто. Если данная сущность используется как указатель (то
есть через нее происходит обращение к памяти по заданному адресу:
mov eax, 106996h/mov ebx,[eax]), тут и дизассемблеру ясно, что это смещение. Но стоит лишь
немного усложнить пример, скажем, передать 106996h какой-нибудь функции
или начать производить с ней сложные манипуляции, то дизассемблеру
потребуется высадиться на полную реконструкцию всей цепочки
преобразований. Но даже тогда его решение может оказаться неверным,
поскольку в языке Си индексы (то есть константы) и указатели (то есть
смещения) полностью взаимозаменяемы и конструкция buf[69] не только
равносильна 69[buf], но и транслируется в идентичный машинный код, при
реконструкции которого возникает очевидная проблема.
У нас есть два числа A и B, сумма которых представляет указатель (то
есть существует возможность определить, что это указатель, да и то если
попыхтеть), но вот что из них индекс? Увы. Формальная математика не
дает ответа на этот вопрос, и дизассемблеру приходится полагаться лишь
на свою интуицию да эвристику. Указатели в win32, как правило, велики,
поскольку минимальный базовый адрес загрузки файла равен 100000h.
Индексы же, как правило (опять! как правило!), малы и много меньше
указателей, однако если у нас имеется массив, расположенный по адресу
200000h и состоящий из 3 145 728 (300000h) элементов (а почему бы,
собственно, и нет?!), то тут индексы старших элементов становятся
больше базового указателя на массив, что вводит дизассемблер в
заблуждение.
Полный перечень эвристических методик, используемых IDA для распознавания смещений, можно найти в книге «Образ мышления — IDA» (электронная копия которой находится на сервере http://nezumi.org.ru/ida.full.zip).
Нам же достаточно сказать, что IDA действительно преуспела в этом
направлении и ошибается крайне редко. И тем не менее все-таки
ошибается, а с ростом размеров дизассемблируемой программы количество
ошибок резко нарастает.
Код или данные
Вот так проблема! Наверное, даже самый тупой дизассемблер
разберется, что ему подсунули: код или данные, тем более что в
PE-файлах (основной формат исполняемых файлов под Windows) они
разнесены по разным секциям. Ну, это в теории они разнесены, а на
практике компиляторы очень любят пихать данные в секцию кода (особенно
этим славиться продукция фирмы Borland).
С другой стороны, практически все компиляторы (особенно на Си++)
сплошь и рядом используют вызовы функций типа CALL EBX. Чтобы понять,
куда ведет такой вызов, необходимо установить значение регистра EBX,
что требует наличия более или менее полного эмулятора процессора,
отслеживающего всю историю содержимого EBX с момента его инициализации
и до непосредственного вызова.
Но непосредственные вызовы - ерунда. Вот косвенные - это да!
Реконструкция CALL dword ptr DS:[EBX] требует не только эмуляции
процессора (то есть набора машинных команд), но и эмуляции памяти!
Естественно, это на порядок усложняет дизассемблерный движок, зато
нераспознанные массивы данных мгновенно превращаются в функции и, что
самое главное, дизассемблер показывает, кто именно и откуда их вызывает!
Наличие эмулятора процессора и памяти позволяет также отслеживать
положение регистра ESP, используемого для адресации локальных
переменных и аргументов, передаваемых функциям. Если же эмулятора нет
(а в IDA он есть), дизассемблер способен распознавать лишь простейшие
формы адресации/передачи аргументов. Механизм, ответственный за
распознание и отслеживание аргументов, носит красивое название PIT, но
эта аббревиатура отнюдь не расшифровывается как «Пивоваренный [завод]
Ивана Таранова», а происходит от Parameter Identification and Tracking — идентификация и отслеживание параметров, то есть аргументов. Тех, что бывают у функций. А еще бывают функции без аргументов, но это уже другая история.
Реконструкция потока управления
Языки высокого уровня оперируют такими конструкциями, как циклы,
операторы выбора, ветвления и т.д., что делает программу простой и
наглядной. Собственно говоря, именно отсюда и пошло структурное
программирование. А ведь когда-то, давным-давно, в Бейсике (и других
языках того времени), кроме примитивного GOTO, ничего не было и
программа, насчитывающая больше сотни строк, превращалась в сплошные
«спагетти», лишенные всякой логики, внутренней организации и следов
цивилизации.
На низком же, машинном, уровне ситуация осталась той же, что и лет
50 тому назад. И хотя x86-процессоры формально поддерживают инструкцию
цикла LOOP, компиляторы ее не используют, довольствуясь одними лишь
условными и безусловными переходами, а потому первоочередная задача
реверсера — реконструировать циклы, ветвления и другие высокоуровневые
сооружения. Подробнее о том, как это делается руками, читай в «Фундаментальных основах хакерства» (бесплатная электронная копия лежит на http://nezumi.org.ru/phck2.full.zip).
Начиная с пятой версии в IDA Pro появился механизм
графов, позволяющий автоматически реконструировать циклы, ветвления и
прочие «кирпичи» языков высокого уровня. Впрочем, польза от графов была
небольшой, и в реальности они только замедляли анализ, поскольку
подобрать адекватный механизм визуализации и навигации Ильфаку так и не
удалось… Но ведь не пропадать же труду?!
У истоков HexRays
К пятой версии IDA Pro имела в своем арсенале все необходимое для автоматической декомпиляции, причем не просто декомпиляции, а очень
качественной декомпиляции, декомпиляции принципиально нового уровня, до которого не дотягивает ни один другой существующих
декомпилятор.
Вот так и родилась идея дописать к IDA еще небольшую (на самом деле
очень большую) порцию кода, переводящую китайскую ассемблерную грамоту
в доступный и понятный листинг на языке Си. Закипела напряженная
работа, по ходу которой выявлялись все новые и новые подводные камни,
обход которых требовал времени, усилий и мозговой активности. А всякая
(или практически всякая) работа упирается в деньги, тем более что у
Ильфака фирма!
Включать декомпилятор в дистрибутив IDA Pro
Ильфак не стал. Тому было несколько причин. Первая и главная — основной
массе текущих пользователей IDA декомпилятор не сильно нужен, если они
им и будут пользоваться, то лишь из чистого любопытства, запустят пару
раз, плюнут и вернутся к привычному стилю жизни - анализу
дизассемблерного листинга. Второе — зарабатывать на жизнь (Ильфаку) и
содержать фирму как-то же надо?!
Все это привело к тому, что декомпилятор, получивший название (HexRays), был выпущен отдельным продуктом, но - внимание на экран - требующим
обязательного присутствия IDA, поскольку HexRays —
всего лишь плагин. Таким образом, реверсеру, желающему упростить свою
жизнь за счет автоматической декомпиляции, необходимо прибрести как
саму IDA, так и HexRays. Причем приобретать этот комплект будет
совсем другая пользовательская аудитория, совсем не та, что приобретала
ИДУ и почитала ее как самый лучший интерактивный дизассемблер.
Интерактивный — значит, тесно взаимодействующий с пользователем (в
смысле с хакером). В противовес ей, пакетные дизассемблеры стремятся к
максимальной автоматизации реверсинга, лишая пользователя возможности
вмешиваться в процесс и отдавать указания. HexRays в отличии от IDA Pro
интерактивностью не обладает: она у него атрофирована еще в зародыше.
Нет даже опций настройки! А там где нет интерактивности, нет и хакеров.
И тут мы плавно переходим к ответу на вопрос кому нужен HexRays.
Боевое крещение
Итак, Hex-Rays у нас на руках. Устанавливаем его туда же, где располагаются все остальные
плагины для IDA Pro, и приступаем к тестированию. В
качестве объекта тестирования используется стандартный блокнот (в
данном случае из комплекта поставки W2KSP0), на котором обкатываются
все вирусы, все упаковщики исполняемых файлов (вместе с
распаковщиками), все протекторы... словом, декомпилятор не станет
исключением. А что? Блокнот - достаточно простая программа,
обуславливающая тот минимум функционала, ниже которого декомпилятор из
мощного программного комплекса превращается в дорогостоящую, но
абсолютно бесполезную игрушку.
Загрузив notepad.exe в IDA Pro и ответив на ряд
несложных вопросов мастера автоанализа, даем дизассемблеру некоторое
время поработать и, когда он перейдет в режим ожидания, заходим в меню
«File -> Produce File -> Create C file» или нажимаем горячие
клавиши <Ctrl-F5>.
Сначала на экране появляется логотип HexRays с предложением провериться на обновления и после нажатия на OK
HexRays думает некоторое время, а когда он закончит заниматься магической деятельностью, на диске образуется файл notepad.c.
Ура! Свершилось! Пробуем откомпилировать его компилятором MS VC 6.0,
предварительно скопировав в текущий каталог файл defs.h из каталога
HexRays и заменив в строке #include <defs.h> угловые скобки
двойными кавычками, иначе компилятор будет искать defs.h в системном
каталоге с включаемыми файлами, где, естественно, его не обнаружит. Но
это мелочи… А вот уже проблема посерьезнее. Компилятор, выдав более
сотни ошибок, просто прерывает компиляцию, поскольку продолжать ее
дальше нет никакого смысла.
Может, мы не тот компилятор выбрали для тестирования? Вообще-то, по идее, декомпилятор должен выдавать листинг на ANSI C,
поддерживаемый любым ANSI-совместимым C-компилятором, но… все мы хорошо
знаем любовь Ильфака к продукции фирмы Borland. На нем написана сама
IDA, на нем же вышло первое SDK… Хорошо, берем последнюю версию Borland C++ (благо она бесплатна) и что же?! Вновь
простыня ошибок и ругательств, приводящих к преждевременному прерыванию
компиляции. Оказывается, чтобы откомпилировать декомпилированный файл, над ним еще предстоит основательно поработать. Вот тебе и раз…
А вот тебе и два! Декомпилятор выдал чистый
*.c-файл, проигнорировав тот факт, что notepad.exe содержит еще и
секцию ресурсов, но даже если при загрузке блокнота в IDA форсировать
обработку ресурсов, мы все равно ничего не получим. Ну не умеет HexRays с ними работать и все-тут! Возможно, когда-нибудь он этому и научиться, но сейчас - нет.
Другими словами, HexRays не позволяет компилировать декомпилированные программы
без дополнительной ручной работы и реально пригоден лишь для анализа.
Возникает резонный вопрос: и насколько же он упрощает анализ? Чтобы не
быть голословным, приведу два фрагмента кода:
if ( RegOpenKeyExA(
HKEY_CLASSES_ROOT,
"CLSID\\{ADB880A6-D8FF-11CF-9377-00AA003B7A11}\\InprocServer32",
0,
0x20019u,
&hKey) )
{
result = 0;
}
else
{
cbData = 260;
if ( !RegQueryValueExA(hKey, ValueName, 0, 0, lpData, &cbData) ) v1 = 1;
RegCloseKey(hKey);
result = v1;
}
return result;
Просто? Красиво? Понятно? Элегантно? Еще как! А вот как выглядел тот же самый код в чистом дизассемблере:
.text:0100318F push ebp
.text:01003190 mov ebp, esp
.text:01003192 push ecx
.text:01003193 push ecx
.text:01003194 lea eax, [ebp+hKey]
.text:01003197 push esi
.text:01003198 xor esi, esi
.text:0100319A push eax ; phkResult
.text:0100319B push 20019h ; samDesired
.text:010031A0 push esi ; ulOptions
.text:010031A1 push offset SubKey ; lpSubKey
.text:010031A6 push 80000000h ; hKey
.text:010031AB call ds:RegOpenKeyExA
.text:010031B1 test eax, eax
.text:010031B3 jnz short loc_10031E7
.text:010031B5 lea eax, [ebp+cbData]
.text:010031B8 mov [ebp+cbData], 104h
.text:010031BF push eax ; lpcbData
.text:010031C0 push [ebp+lpData] ; lpData
.text:010031C3 push esi ; lpType
.text:010031C4 push esi ; lpReserved
.text:010031C5 push offset ValueName ; lpValueName
.text:010031CA push [ebp+hKey] ; hKey
.text:010031CD call ds:RegQueryValueExA
.text:010031D3 test eax, eax
.text:010031D5 jnz short loc_10031DA
.text:010031D7 push 1
.text:010031D9 pop esi
.text:010031DA
.text:010031DA loc_10031DA: ; CODE XREF: sub_100318F+46?j
.text:010031DA push [ebp+hKey] ; hKey
.text:010031DD call ds:RegCloseKey
.text:010031E3 mov eax, esi
.text:010031E5 jmp short loc_10031E9
.text:010031E7
.text:010031E7 loc_10031E7: ; CODE XREF: sub_100318F+24?j
.text:010031E7 xor eax, eax
.text:010031E9
.text:010031E9 loc_10031E9: ; CODE XREF: sub_100318F+56?j
.text:010031E9 pop esi
.text:010031EA leave
.text:010031EB retn 4
Согласись, что сравнение отнюдь не в пользу дизассемблера, но не спеши радоваться. Рассмотрим еще один пример:
if ( (unsigned __int16)a2 == 1 )
{
dword_1008BCC = dword_1008028;
if ( !dword_1008014 && sub_10059A3(dword_10087D0, &String2, 0) )
return 1;
}
Что делает этот код? Совершенно непонятно. То есть не то чтобы
совсем непонятно, но смысл как-то ускользает. Тут требуется
проанализировать, что это за переменные такие, кто еще (помимо этой
функции) их модифицирует и зачем? В дизассемблере листинг выглядит
схожим образом, но мощная система навигации по коду вкупе с
перекрестными ссылками и подсветкой одноименных переменных/функций
сокращает время анализа на несколько порядков, причем ни в одном
текстовом редакторе, ни в одной среде программирования подобной системы
навигации по коду нет!
А это вид в дизассемблере:
.text:01002306 loc_1002306: ; CODE XREF: sub_1002239+C4?j
.text:01002306 mov eax, dword_1008028
.text:0100230B push ebx
.text:0100230C push edi
.text:0100230D mov dword_1008BCC, eax
.text:01002312 push dword_10087D0
.text:01002318 call sub_10059A3
.text:0100231D test eax, eax
.text:0100231F jz short loc_1002328
Наш вердикт
HexRays – это, безусловно, большой шаг вперед и
неплохое подспорье для начинающих, но… он не стоит тех денег, которые
за него просят, к тому же (это касается начинающих), однажды потратив
время на изучение ассемблера, мы обретаем возможность реверсировать что
угодно и в чем угодно (на худой конец с помощью утилиты DUMPBIN.EXE,
входящей в состав SDK), а обольщенные возможностями автоматической
декомпиляции, мы становимся заложниками HeyRays со всеми вытекающими отсюда последствиями.
|
