代码之家  ›  专栏  ›  技术社区  ›  Sreeraju V

如何在Datastax数据中心中启用Spark?

  •  1
  • Sreeraju V  · 技术社区  · 8 年前

    我们当前的Datastax数据中心设置包含6个节点,其中Solr和graph 启用

    root@ip-10-10-5-36:~#cat/etc/default/dse | grep-E“SOLR\u ENABLED | GRAPH\u ENABLED”

    GRAPH_ENABLED=1
    SOLR_ENABLED=1
    

    root@ip-10-10-5-36:~#节点醇状态

    Datacenter: SearchGraph
    =======================
    Status=Up/Down
    |/ State=Normal/Leaving/Joining/Moving
    --  Address     Load       Tokens       Owns    Host ID                               Rack
    UN  10.10.5.56  456.58 MiB  1            ?       936a1ac0-6d5e-4a94-8953-d5b5a2016b92  rack1
    UN  10.10.5.46  406.24 MiB  1            ?       3f41dc2a-2672-47a1-90b5-a7c2bf17fb50  rack1
    UN  10.10.5.76  392.99 MiB  1            ?       29f8fe44-3431-465e-b682-5d24e37d41d7  rack2
    UN  10.10.5.66  414.16 MiB  1            ?       1f7de531-ff51-4581-bdb8-d9a686f1099e  rack2
    UN  10.10.5.86  424.3 MiB   1            ?       27d37833-56c8-44bd-bac0-7511b8bd74e8  rack2
    UN  10.10.5.36  511.44 MiB  1            ?       0822145f-4225-4ad3-b2be-c995cc230830  rack1
    

    我们计划在现有的数据中心中实施spark。我的问题是

    1) 启用spark是否会影响datastax中的现有数据和服务?。

    2) 或者,不是启用SPARK\u ENABLED=1,而是需要单独设置 Spark数据中心?

    更新日期:

    3) DC1和DC2如何在环中相互连接,是否基于同一个集群 中指定的名称 cluster\u名称: 参数 Conf文件:/etc/dse/cassandra/cassandra。亚马尔

    4) 是否有任何单独的配置需要在数据中指定spark master
    居中

    5) 我是否需要在Spark(DC2)种子中指定SearchGraph(DC1)种子ip
    配置部分?或者只需在DC2中指定Spark seed ip 配置部分(卡桑德拉:yaml)

    2 回复  |  直到 8 年前
        1
  •  0
  •   Alex Ott    8 年前

    建议为DSE分析创建单独的数据中心。整个过程 is described in documentation .

        2
  •  0
  •   jlacefie    8 年前

    为了补充Alex的答案,这将取决于您是否希望执行图形分析。启用时将执行何种类型的火花工作?