代码之家  ›  专栏  ›  技术社区  ›  dave

为什么我的服务器将事件作为批处理发送?

  •  5
  • dave  · 技术社区  · 8 年前

    我有一个基于Java 8/SpRIG4的Web应用程序,它正在使用服务器发送事件(SSE)报告一个长时间运行的进程的进度,它是基于浏览器的客户端运行一些JavaScript并更新进度条。在我的开发环境和我们的开发服务器上,SSE几乎是实时到达客户机的。我可以看到他们(连同他们的时间戳)使用chrome开发工具和进度条顺利更新。

    然而,当我部署到我们的生产环境时,我观察到不同的行为。在长时间运行的进程完成之前,事件不会到达浏览器。然后它们都以突发的方式到达(根据dev工具,这些事件彼此之间的时间戳都在几百毫秒之内)。进度条在持续时间内停留在0%,然后很快跳到100%。同时,我的服务器日志告诉我事件是定期生成和发送的。

    以下是相关的服务器端代码:

    public class LongRunningProcess extends Thread {
        private SseEmitter emitter;
        public LongRunningProcess(SseEmitter emitter) {
            this.emitter = emitter;
        }
        public void run() {
            ...
            // Sample event, representing 10% progress
            SseEventBuilder event = SseEmitter.event();
            event.name("progress");
            event.data("{ \"progress\": 10 }"); // Hand-coded JSON
            emitter.send(event);
            ...
        }
    }
    
    @RestController
    public class UploadController {
        @GetMapping("/start")
        public SseEmitter start() {
            SseEmitter emitter = new SseEmitter();
            LongRunningProcess process = new LongRunningProcess(emitter);
            process.start();
            return emitter;
        }
    }
    

    下面是相关的客户端javascript:

    EventSource src = new EventSource("https://www.example.com/app/start");
    src.addEventListener('progress', function(event) {
        // Process event.data and update progress bar accordingly
    });
    

    我相信我的代码是相当典型的,它在dev中工作得很好。但是如果有人看到问题,请告诉我。

    这个问题可能与我们生产服务器的配置有关。dev和prod都运行同一版本的tomcat。但是,其中一些是通过负载平衡器(f5 in out case)访问的。几乎所有这些都是cdn的幕后黑手(我们的案例中使用的是akama)。这个设置中是否有某些部分会导致ssis被缓冲(或排队或缓存),这可能会产生我看到的结果?

    根据基础结构配置的想法,我在响应头中观察到了以下内容。在开发环境中,我的浏览器接收到:

    Cache-Control: no-cache, no-store, max-age=0, must-revalidate
    Connection: Keep-Alive
    Content-Type: text/event-stream;charset=UTF-8
    Keep-Alive: timeout=15, max=99
    Pragma: no-cache
    Server: Apache
    Transfer-Encoding: chunked
    Via: 1.1 example.com
    

    这就是我对事件流的期望。内容长度未知的分块响应。在生产环境中,我的浏览器接收到不同的信息:

    Cache-Control: no-cache, no-store, max-age=0, must-revalidate
    Connection: keep-alive
    Content-Type: text/event-stream;charset=UTF-8
    Content-Encoding: gzip
    Content-Length: 318
    Pragma: no-cache
    Vary: Accept-Encoding
    

    这里返回的内容有一个已知的长度并被压缩。我认为这不应该发生在事件流中。似乎有东西正在将我的事件流转换为单个文件。有没有想过我怎么知道这是怎么回事?

    3 回复  |  直到 8 年前
        1
  •  3
  •   dave    8 年前

    经过大量的调查,才确定问题的原因是我们网络路径中的元素。所以上面的代码是正确和安全的。如果您发现SSE缓冲,则很可能需要检查关键网络元素的配置。

    在我的例子中,它是我们的cdn和使用 F5 设备作为负载平衡器。事实上,这两种方法都可以引入缓冲,这使得诊断问题变得相当困难。

    默认情况下,Akamai边缘服务器会缓冲事件流。这可以通过使用 advanced metadata 并通过 custom behaviours . 此时,这无法通过Amakai的门户直接控制,因此您需要让他们的工程师为您做一些工作。

    f5设备似乎默认也会缓冲响应数据。幸运的是,这很容易更改,可以通过设备的配置门户自己完成。有关虚拟设备,请转到 Profile : Services : HTTP 并更改 响应分块 到 保存 (在我们的案例中 选择性的 )

    一旦我做了这些更改,我就开始从prod服务器(而不仅仅是dev服务器)接收近乎实时的ss。

        2
  •  0
  •   Sean Phelan    8 年前

    你试过其他浏览器吗?我试图调试一个类似的问题,即sse在iphone客户机上工作,而不是在macos/safari或firefox上。

    可能有解决问题的方法-如果服务器发送“connection:close”而不是保持活动状态,甚至关闭连接本身,则客户端应在几秒钟内重新连接,服务器将发送当前进度条事件。

    我猜关闭连接将刷新导致问题的任何缓冲区。

        3
  •  0
  •   Mustafa    8 年前

    这并不能完全解决这个问题,而是与sse、spring和压缩的使用有关。

    就我而言 ziplet CompressionFilter 在我的spring应用程序中配置,它正在关闭http响应并导致sse失败。这似乎与 an open issue in the ziplet project . 我禁用了过滤器,并在application.properties(server.compression.enabled=true)中启用了tomcat压缩,解决了sse问题。

    请注意,我没有更改默认的compressionMinSize设置,这可能与SSE通信未被压缩和通过有关。