如何在 Common Lisp 中将字节数组转换为字符串？

Question

我正在调用一个有趣的 API，它返回一个字节数组，但我想要一个文本流。 有没有一种简单的方法可以从字节数组中获取文本流？ 现在我只是把： 放在一起，

(defun bytearray-to-string (bytes)
  (let ((str (make-string (length bytes))))
    (loop for byte across bytes
       for i from 0
       do (setf (aref str i) (code-char byte)))
    str))

然后将结果包装在 with-input-from-string 中，但这不是最好的方法。 （另外，它的效率非常低。）

在这种情况下，我知道它始终是 ASCII，因此将其解释为 ASCII 或 UTF-8 就可以了。 我正在使用支持 Unicode 的 SBCL，但我更喜欢一种可移植（甚至仅限 ASCII）的解决方案，而不是特定于 SBCL-Unicode 的解决方案。

Answer 1

有两个用于此转换的可移植库：

• flexi-streams，已在另一个答案中提到。

  这个库比较旧，有更多功能，特别是可扩展流。

• Babel，专门用于字符编码和解码的库

  Babel 相对于 Flexi-streams 的主要优势是速度。

为了获得最佳性能，如果 Babel 具有您需要的功能，请使用它，否则请使用 Flexi-streams。 下面是一个（有点不科学的）微基准测试，说明了速度差异。

对于此测试用例，Babel 的速度快了 337 倍，并且需要的内存减少了 200 倍。

(asdf:operate 'asdf:load-op :flexi-streams)
(asdf:operate 'asdf:load-op :babel)

(defun flexi-streams-test (bytes n)
  (loop
     repeat n
     collect (flexi-streams:octets-to-string bytes :external-format :utf-8)))

(defun babel-test (bytes n)
  (loop
     repeat n
     collect (babel:octets-to-string bytes :encoding :utf-8)))

(defun test (&optional (data #(72 101 108 108 111))
                       (n 10000))
  (let* ((ub8-vector (coerce data '(simple-array (unsigned-byte 8) (*))))
         (result1 (time (flexi-streams-test ub8-vector n)))
         (result2 (time (babel-test ub8-vector n))))
    (assert (equal result1 result2))))

#|
CL-USER> (test)
Evaluation took:
  1.348 seconds of real time
  1.328083 seconds of user run time
  0.020002 seconds of system run time
  [Run times include 0.12 seconds GC run time.]
  0 calls to %EVAL
  0 page faults and
  126,402,160 bytes consed.
Evaluation took:
  0.004 seconds of real time
  0.004 seconds of user run time
  0.0 seconds of system run time
  0 calls to %EVAL
  0 page faults and
  635,232 bytes consed.
|#

Answer 2

如果您不必担心 UTF-8 编码（本质上，这意味着“只是纯 ASCII”），您也许可以使用 MAP：

(映射'字符串#'代码字符#(72 101 108 108 111))

Answer 3

我建议采用建议的 Flexistream 或 babel 解决方案。

但为了完整性和未来到达此页面的谷歌用户的利益，我想提一下 sbcl 自己的 sb-ext:octets-to-string:

   SB-EXT:OCTETS-TO-STRING is an external symbol in #<PACKAGE "SB-EXT">.
   Function: #<FUNCTION SB-EXT:OCTETS-TO-STRING>
   Its associated name (as in FUNCTION-LAMBDA-EXPRESSION) is
     SB-EXT:OCTETS-TO-STRING.
   The function's arguments are:  (VECTOR &KEY (EXTERNAL-FORMAT DEFAULT) (START 0)
                                          END)
   Its defined argument types are:
     ((VECTOR (UNSIGNED-BYTE 8)) &KEY (:EXTERNAL-FORMAT T) (:START T) (:END T))
   Its result type is:
     *

Answer 4

SBCL 支持所谓的灰色流。 这些是基于 CLOS 类和通用函数的可扩展流。 您可以创建一个文本流子类来从字节数组中获取字符。

Answer 5

尝试使用 FORMAT 功能。 (FORMAT NIL ...) 以字符串形式返回结果。

Answer 6

FLEXI-STREAMS (http://weitz.de/flexi-streams/) 具有便携式转换功能

(flexi-streams:octets-to-string #(72 101 108 108 111) :external-format :utf-8)

=>

"Hello"

或，如果你想要一个流：

(flexi-streams:make-flexi-stream
   (flexi-streams:make-in-memory-input-stream
      #(72 101 108 108 111))
   :external-format :utf-8)

将返回一个从字节向量读取文本的流