无法使用cqlsh将UTF-8数据复制到锡拉布

这就是我正在尝试的:

psql <db_name> -c "COPY (SELECT row_number() OVER () as id, * FROM ds.my_data_set LIMIT 20) TO stdout WITH (FORMAT csv, HEADER, DELIMITER ';');" \
 | \
CQLSH_HOST=172.17.0.3 cqlsh -e 'COPY test.mytable (id, "Ist Einpöster", [....]) FROM STDIN WITH DELIMITER = $$;$$ AND HEADER = TRUE;'

我得到一个没有堆栈跟踪的模糊错误:

我的数据和列名(包括已经在ScyllaDB中创建的表中的列名)包含带有德语文本的值。它不是ASCII码,但我还没有找到任何地方可以设置编码,我到处都能看到它似乎在使用 utf-8 已经。我试过了 this 同时,在1135线附近看到,并在我的本地cqlsh(使用 vim $(which cqlsh) ),但没有效果。

我正在使用 cqlsh 5.0.1 ,使用pip安装(奇怪的是 pip install cqlsh==5.0.4 )

我也试过了 cqlsh 从 docker image that I used to install ScyllaDB ,它有完全相同的错误。

<更新>
按照建议,我将数据传输到一个文件:

psql <db_name> -c "COPY (SELECT row_number() OVER (), * FROM ds.my_data_set ds) TO stdout WITH (FORMAT csv, HEADER);" | head -n 1 > test.csv

我将其细化到第一行(CSV标题)。管道输送到

>>> with open('test.csv', 'rb') as fp:
...   data = fp.read()
>>> data
b'row_number,..... Ist Einp\xc3\xb6ster ........`

\xc3 在肉体上。是UTF-8吗?

>>> data.decode('utf-8')
'row_number,....... Ist Einpöster ........`

是的,是的 utf-8 . 那么错误是如何发生的呢?

>>> data.decode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 336: ordinal not in range(128)

相同的错误文本,所以可能也是Python,但如果没有堆栈跟踪,我不知道这是在哪里发生的,默认编码是 utf-8 . 我尝试用 utf-8

这是 locale

LANG=
LANGUAGE=
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=en_US.UTF-8

有人提出了这个答案 UnicodeDecodeError: 'ascii' codec can't decode byte 0xd1 in position 2: ordinal not in range(128) cqlsh.py 开始时,它通过了解码问题,但同一列被报告为无效,并出现另一个错误:

:1:列名称Ist Einpster无效

旁注:

现在我对这个测试失去了兴趣,我只是想尽量不要有一个没有答案的问题,所以请原谅等待的时间。当我把它作为一个分析引擎,再加上Spark作为Tableau的数据源进行试验时,我发现了“更好的”替代品,比如Vertica和ClickHouse。”“更好”,因为两者都有局限性。

</更新>