代码之家 › 专栏 › 技术社区 › Levent Ozbek

如何在Julia中将CSV转换为Parquet

parquet julia csv

Levent Ozbek · 技术社区 · 4 年前

我有一个CSV文件,我想在Julia中将其转换为Parquet。我在论坛和关于此转换的文档中找不到任何相关信息。Julia中是否可以进行这样的转换,还是我只是将CSV读作Parquet?如果是这样?我该怎么做呢?

这就是我目前所拥有的。

begin
    using Pkg
    Pkg.add("PlutoUI")
    Pkg.add("HTTP")
    Pkg.add("StatsModels")
    Pkg.activate(".")
    import CSV, DataFrames, Dates, StatsPlots, StatsModels
    import DataFrames.DataFrame
    using Plots, PlutoUI, HTTP, DelimitedFiles, Parquet
end

begin
    df = CSV.read("/home/onur/julia-assignment/temp.csv", DataFrame)
end

0 回复 | 直到 4 年前

Przemyslaw Szufel 4 年前

使用 Parquet.jl 如下代码所示:

using CSV,DataFrames,Parquet
c = CSV.read(IOBuffer("a;b;c\n1;2.5;a\n2;3.5;b"), DataFrame, delim=";")
Parquet.write_parquet("dat.parquet", c)

至于测试,让我们试着读一下:

julia> Parquet.read_parquet("dat.parquet") |> DataFrame
2Ã3 DataFrame
 Row â a       b         c
     â Int64?  Float64?  String?
ââââââ¼âââââââââââââââââââââââââââ
   1 â      1       2.5  a
   2 â      2       3.5  b

推荐文章

SD_ · 使用CLI将由文件分隔符控制字符(FS/ASCII28/UTF-8 0x1C)分隔的csv文件读取到duckdb中

9 月前

ViSa · 如何在python中分隔存储在变量中的文本以创建数据帧?

1 年前

S K · 需要在Powershell中使用2个变量为CSV文件创建foreach循环

1 年前

Kavya shree · 将TSV文件数据转换为可推送到数据库的数据帧

1 年前

Joan Lopez · 从csv中提取的数据获得平均值

1 年前

Chinmaya Tewari · 创建新csv文件时权限被拒绝

1 年前

Parker Clark · 通过Bash操作csv中的特定列?

1 年前

Rasec Malkic · 如何根据第1列和第3列中的条件删除重复项?

1 年前

James Black · 如何基于列删除CSV文件中重复的行

1 年前

James Black · 将json文件转换为具有更多列的csv文件-Python

1 年前