在 Linux 上捕获显示/监视器图像、发送键盘输入

Question

我需要处理发送到笔记本电脑视频显示器的图像，并且需要使用 C++ 或 shell 程序将键盘输入发送到我的 Linux 系统。

我的目标是处理 FPS 游戏中的图像，然后根据这些图像在游戏中采取行动（因此是键盘输入）。我没有试图理解（如果可能的话）如何使用一些 API 与游戏 X 或 Y 交互，而是认为这是与任何游戏交互的最快方式，以某种方式劫持 Linux 输入和输出。

有没有办法在没有任何内核或设备驱动程序黑客攻击的情况下做到这一点？我之前使用 recordmydesktop 将我的桌面录制为视频，我想我可以破解它的代码并尝试从中进行逆向工程。还有其他想法吗？我使用的是 Ubuntu 11。

相关问题

Answer 1

您不需要执行任何与内核或设备驱动程序一样低级别的操作来执行此操作。

例如，您可以使用 XTest X11 扩展 以编程方式伪造输入事件（来自这个发布，有 键盘的另一个例子）。

#include <X11/extensions/XTest.h>  
#include <unistd.h>  

int main ()  
{  
  Display *dpy = NULL;  
  XEvent event;  

  dpy = XOpenDisplay (NULL);  

  /* Get the current pointer position */  
  XQueryPointer (dpy, RootWindow (dpy, 0),  
        &event.xbutton.root, &event.xbutton.window,  
        &event.xbutton.x_root, &event.xbutton.y_root,  
        &event.xbutton.x, &event.xbutton.y,  
        &event.xbutton.state);  

  /* Fake the pointer movement to new relative position */  
  XTestFakeMotionEvent (dpy, 0, event.xbutton.x + 100,  
        event.xbutton.y + 50, CurrentTime);  
  XSync(dpy, 0);  
  XCloseDisplay (dpy);  
  return 0;  
}   

要捕获图像，最简单的方法是使用 函数插入 （通过 LD_PRELOAD）来“拦截”对 glXSwapBuffers，每绘制一帧就会调用它。从那里您可以使用 glReadPixels< 复制帧缓冲区的内容/code>并用它做你想做的事。

例如，用于拦截 OpenGL 帧的未经测试的轮廓：

// Function pointer to the *real* glXSwapBuffers
static void (*glx_fptr)(Display*, GLXDrawable) = NULL;

// Make sure init gets called when the shared object is loaded. GCC specific.
static void init(void)  __attribute__((constructor));

static void init(void) {
    dlerror();
    // find the real glXSwapBuffers
    glx_fptr = dlsym(RTLD_NEXT, "glXSwapBuffers");
    if (NULL == glx_fptr)
        fprintf(stderr, "[glvidcap] %s\n", dlerror());
}

void glXSwapBuffers(Display *dpy, GLXDrawable drawable) {
    unsigned int w = 0;
    unsigned int h = 0;
    static int x,y;
    static Window win;
    static unsigned int border,depth;
    // Find the window size. (You could skip this and make it all static if you
    // Trust the window not to change size
    XGetGeometry(dpy, drawable, &win, &x, &y, &w, &h, &border, &depth);

    // Assuming frame is some memory you want the frame dumped to:
    glReadPixels(0,0,w,h,GL_BGR,GL_UNSIGNED_BYTE, frame);

    // Call the real function:
    assert(glx_fptr);
    glx_fptr(dpy, drawable);
}

然后您需要将其编译为共享对象，并在运行您正在查看的任何游戏之前LD_PRELOAD 该共享对象。

如果它恰好是 SDL 应用程序，您可以根据需要拦截对 SDL_Flip 或 SDL_UpdateRect 的调用。

Answer 2

感谢@awoodland的回答，我查找了相关资源，并找到了这个

http://bzr.sesse。 net/glcapture/glcapture.c

我将此代码编译为

gcc -shared -fPIC -o glcapture.so glcapture.c -ldl

并将其加载到脚本中的 FPS 游戏 Urban Terror 中，

LD_PRELOAD=`pwd`/glcapture.so [DIR]/UrbanTerror/ioUrbanTerror.i386

运行此脚本时，游戏将被加载。由于某种原因，游戏图形没有显示，但我可以稍后改进。当我退出游戏时，我看到控制台上打印了 gettimeofday 消息，这告诉我钩子起作用了。当我继续处理此代码时，我将提供更多详细信息。

为了发送按键，我点击了链接

http://bharathisubramanian.wordpress.com/2010/03/14/x11-fake-key-event- Generation-using-xtest-ext/

在 Ubuntu 上安装了必要的软件包后然后

sudo apt-get install libxtst-dev

fakeKey.c 编译并运行没有问题。

注意：我为此在Github上启动了一个项目，欢迎任何人分叉、提供帮助等。

Answer 3

我终于有解决办法了。我相信 UrT 会自行加载 OpenGL，因此诸如 wallhacks 之类的事情是不可能的。那么剩下的最佳选择就是进行 X 次屏幕截图。即使使用像 Python 这样的脚本语言，它的工作速度也相当快。以下代码获取连续的屏幕截图并通过 OpenCV 将它们显示为动画。当然，您需要以最小化模式启动 UrT。 其余详细信息在我的项目中。

import gtk.gdk
import PIL
from opencv.cv import *
from opencv.highgui import *
from opencv.adaptors import PIL2Ipl

w = gtk.gdk.get_default_root_window()
sz = w.get_size()
print "The size of the window is %d x %d" % sz

size_x = 600
size_y = 400
start_x = 0
start_y = 100
end_x = start_x+size_x
end_y = start_y+size_y
box = (start_x, start_y, start_x+size_x, start_y+size_y)

while True:
    pb = gtk.gdk.Pixbuf(gtk.gdk.COLORSPACE_RGB,False,8,sz[0],sz[1])
    pb = pb.get_from_drawable(w,w.get_colormap(),0,0,0,0,sz[0],sz[1])
    width,height = pb.get_width(),pb.get_height()
    im = PIL.Image.fromstring("RGB",(width,height),pb.get_pixels())
    im = im.crop(box)
    cv_img = PIL2Ipl(im)
    cvNamedWindow("fps")
    cvShowImage("fps", cv_img)
    cvWaitKey(30) 

另外，为了向游戏发送密钥，上面的方法不起作用，我不得不使用 xdotool 为了向 UrT 发送前向行走密钥，

xdotool search --name ioUrbanTerror  windowactivate keydown W