如何动态生成并运行本机代码？

Question

我想为我编写的玩具语言处理器编写一个非常小的概念验证 JIT 编译器（纯粹学术性的），但我在设计的中间高度遇到了一些麻烦。从概念上讲，我熟悉 JIT 的工作原理 - 将字节码编译成（机器或汇编？）代码来运行。然而，在具体细节上，我不太清楚如何你实际上这样做。

我的（非常“新手”）下意识的反应，因为我不知道从哪里开始，所以会尝试如下所示的操作：

1. mmap() 一块内存，设置对 PROT_EXEC 的访问，
2. 将本机代码写入该块
3. 将当前寄存器（堆栈指针等）存储在某个地方，方便地
4. 修改当前寄存器以指向映射区域中的本机代码块
5. 本机代码现在将由机器执行
6. 恢复以前的寄存器

是否甚至接近到正确的算法吗？我尝试过仔细研究我知道有 JIT 编译器可供研究的不同项目（例如 V8）但这些代码库由于其大小而难以使用，而且我不知道从哪里开始寻找。

Answer 1

不确定 Linux 是否如此，但这适用于 x86/windows。
更新：http://codepad.org/sQoF6kR8

#include <stdio.h>
#include <windows.h>

typedef unsigned char byte;

int arg1;
int arg2;
int res1;

typedef void (*pfunc)(void);

union funcptr {
  pfunc x;
  byte* y;
};

int main( void ) {

  byte* buf = (byte*)VirtualAllocEx( GetCurrentProcess(), 0, 1<<16, MEM_COMMIT, PAGE_EXECUTE_READWRITE );

  if( buf==0 ) return 0;

  byte* p = buf;

  *p++ = 0x50; // push eax
  *p++ = 0x52; // push edx

  *p++ = 0xA1; // mov eax, [arg2]
  (int*&)p[0] = &arg2; p+=sizeof(int*);

  *p++ = 0x92; // xchg edx,eax

  *p++ = 0xA1; // mov eax, [arg1]
  (int*&)p[0] = &arg1; p+=sizeof(int*);

  *p++ = 0xF7; *p++ = 0xEA; // imul edx

  *p++ = 0xA3; // mov [res1],eax
  (int*&)p[0] = &res1; p+=sizeof(int*);

  *p++ = 0x5A; // pop edx
  *p++ = 0x58; // pop eax
  *p++ = 0xC3; // ret

  funcptr func;
  func.y = buf;

  arg1 = 123; arg2 = 321; res1 = 0;

  func.x(); // call generated code

  printf( "arg1=%i arg2=%i arg1*arg2=%i func(arg1,arg2)=%i\n", arg1,arg2,arg1*arg2,res1 );

}

Answer 2

您可能想看看libjit，它提供了您正在寻找的基础设施：

libjit 库实现
即时编译
功能。与其他 JIT 不同的是，这
一个被设计为独立于
任何特定的虚拟机
字节码格式或语言。

http://freshmeat.net/projects/libjit

Answer 3

如何 JIT - 简介 是新文章（从今天开始！）解决了其中一些问题并描述了更大的情况。

Answer 4

Android Dalvik JIT 编译器也可能值得关注。它应该相当小且精简（不确定这是否有助于理解它或使事情变得更加复杂）。它也针对 Linux。

如果事情变得更严重，看看 LLVM 可能也是一个不错的选择。

Jeremiah 建议的函数指针方法听起来不错。无论如何，您可能想使用调用者的堆栈，并且可能只剩下一些寄存器（在 x86 上），您需要保留或不触摸它们。在这种情况下，如果您编译的代码（或条目存根）在继续之前将它们保存在堆栈上，这可能是最简单的。最后，这一切都归结为编写一个汇编函数并从 C 接口到它。

Answer 5

答案取决于您的编译器以及放置代码的位置。请参阅http： //encode.ru/threads/1273-Just-In-Time-Compilation-Improvement-For-ZPAQ?p=24902&posted=1#post24902

在 32 位 Vista 中测试，Visual C++ 给出了 DEP（数据无论代码是放在堆栈、堆还是静态内存中，都会出现执行预防）错误。 g++、Borland 和 Mars 有时可以工作。 JIT 代码访问的数据需要声明为易失性的。

Answer 6

除了到目前为止建议的技术之外，研究线程创建函数可能也是值得的。如果您创建一个新线程，并将起始地址设置为生成的代码，您可以确定没有需要保存或恢复的旧寄存器，并且操作系统会为您处理相关寄存器的设置。也就是说，您消除了列表中的步骤 3、4 和 6。

Answer 7

Linux x86 mmap 最小示例

只是为了提供一个带有 mmap 的 Linux。在运行时，我向内存中注入一个相当于以下内容的函数：

int ing(int i) {
    return i + 1;
}

main.c

#define _XOPEN_SOURCE 700
#include <assert.h>
#include <stddef.h> /* NULL */
#include <sys/mman.h> /* mmap, munmap */

union funcptr {
    int (*f)(int);
    unsigned char *bytes;
};

int main(void) {
    unsigned char *buf = (unsigned char *)mmap(NULL, 4, PROT_WRITE | PROT_EXEC, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
    assert(buf != MAP_FAILED);
    unsigned char *p = buf;

    // return i + 1;
    // lea 0x1(%rdi),%eax
    *p++ = 0x8d;
    *p++ = 0x47;
    *p++ = 0x01;

    // ret
    *p++ = 0xC3;

    assert(((union funcptr){ .bytes = buf }).f(1) == 2);

    // Just to check if we can modify the code witout any explicit icache flushing.
    // return i + 2;
    // lea 0x1(%rdi),%eax
    buf[2] = 0x02;

    assert(((union funcptr){ .bytes = buf }).f(1) == 3);

    int ret = munmap(buf, 4);
    assert(!ret);
}

编译并运行：

gcc -ggdb3 -O3 -std=c99 -Wall -Wextra -pedantic -o main main.c
./main

我使用 union 如 https://stackoverflow.com/a/4912662/895245 因为 C 标准显然禁止将非函数指针转换为函数指针：ISO C Void * 和函数指针 这有点家长式，如果你忽略警告，GCC 也可以直接使用：

assert(((int (*)(int))(buf))(1) == 2);

The shell code was returned by compiling一个测试文件：

notmain.c

int inc(int i) {
    return i + 1;
}

与 -O3 并反汇编它：

gcc -ggdb3 -O3 -std=c99 -Wall -Wextra -pedantic -c -o notmain.o notmain.c
objdump -d notmain.o

输出包含：

0000000000000000 <inc>:
   0:   f3 0f 1e fa             endbr64
   4:   8d 47 01                lea    0x1(%rdi),%eax
   7:   c3                      ret

endbr64 是一个 NOP/安全功能，所以我们可以 ("un"safely ）忽略它： endbr64 指令实际上是做什么的？

相关：

• 是否可以动态创建函数，在 C++ 运行时期间？
• 如何直接从内存编译执行？

在Ubuntu 23.10 amd64上测试。

Answer 8

您可能对为什么幸运僵硬的Potion 编程语言。它是一种小型、不完整的语言，具有即时编译的特点。 Potion 的尺寸较小，更容易理解。该存储库包含语言内部结构的描述（JIT 内容从标题开始“~这个家伙~”）。

由于它在 Potion 的虚拟机。不过，不要让这吓跑你。不用多久就能看出他在做什么。基本上，使用一小组 VM 操作码允许将某些操作建模为 优化装配。