代码之家  ›  专栏  ›  技术社区  ›  Varun

R: 自动在云端抓取和存储Twitter数据

  •  -2
  • Varun  · 技术社区  · 8 年前

    我是一名R用户,正在从事一个项目,该项目涉及从Twitter数据中获取见解(更具体地说,使用 rtweet 并对该数据进行一组分析)。此外,出于可视化目的,我基于这些数据构建了一个闪亮的应用程序。

    我需要更多的信息

    今天,我收集的推特数据存储在我的笔记本电脑上。然而,我想用不同的方式来做这件事。理想情况下,我希望能够实现以下目标-

    1) 这些数据是使用 rtweet公司 打包并直接存储在云平台上(例如AWS或Microsoft Azure)。

    2) 我想为这个刮片过程定义一个周期(例如:每两天一次)。我想通过一些调度工具来实现这一点。

    3) 最后,我希望我的闪亮应用程序(托管在shinyapps.io上)能够与这个云平台通信,并检索存储在其中的推文进行分析。

    我在互联网上搜索了解决方案,但还没有找到任何直接的方法。

    如果有人有这样做的经验,我们将非常感谢您的意见。

    1 回复  |  直到 8 年前
        1
  •  1
  •   Vladyslav Didenko    8 年前

    您在AWS创建帐户。 然后创建s3 bucket 在虚拟服务器或hwrre的计算机上,如果要进行复制,请安装aws cli(用于与aws Resources交互的客户端)

    然后,您运行了copy命令,文件将被复制到云。

    同样,您可以使用cli检索文件

    推荐文章