如何实现 C++0x 原始字符串文字？

Question

如何定义词法分析器和解析器的工作集（例如：flex 和 bison）以支持 C++0x 风格的原始字符串文字？

您可能已经知道，C++0x 中的新字符串文字可以以非常灵活的方式表达。

R"..."; - 在此代码中， 几乎可以是所有内容，也不需要转义字符。

任何类型的括号都可以用来分隔字符串的结尾：

R"(我喜欢那些渴望不可能的人。(Von Goethe, "Faust"))";

文本块可以简单地使用相同字符的相同出现次数进行定义：

R";***************************(
  ; TINY BASIC FOR INTEL 8080  
  ;       VERSION 2.0  
  ;     BY LI-CHEN WANG  
  ; MODIFIED AND TRANSLATED  
  ;    TO INTEL MNEMONICS  
  ;     BY ROGER RAUSKOLB  
  ;     10 OCTOBER, 1976  
  ;       @COPYLEFT  
  ;  ALL WRONGS RESERVED      )
  ;***************************";

可以在此处找到更多信息（维基百科）和此处（ att)。

我想在我现在正在开发的语言中使用这个奇妙的功能。

那么，如何定义合适的分词器和语法分析器来获得结果呢？

预先感谢您的回答！

Answer 1

您可以在词法分析阶段对文字进行处理，并将其转换为元标记之类的东西。

Input:  
    int a;  
    char *b = R"....";  

Preprocessed:  
    int a;
    char *b = R*literal[0]*;

Tokenized:  
    INT symbol[0] DELIM  
    CHAR OP_ASTR symbol[1] OP_EQ symbol[2] *literal[0]* DELIM  

Symbol table contents { "a", "b", "R" }  

Literal table contents { "...." }  

literal[0] 是指向原始文字的指针。