代码之家  ›  专栏  ›  技术社区  ›  Bierbarbar

每次迭代之后,JPA开始消耗越来越多的内存

  •  0
  • Bierbarbar  · 技术社区  · 6 年前

    目前我尝试在JPA的帮助下存储一些来自webapi的新闻。

    @Entity
    @Data
    @Table(name = "NewsPosts", schema = "data")
    @EqualsAndHashCode
    @NoArgsConstructor
    @AllArgsConstructor
    @Builder
    public class NewsPost {
    
        @Id
        @Column(name = "id")
        private long id;
        @Basic
        @Column(name = "subject")
        private String subject;
        @Basic
        @Column(name = "post_text")
        private String postText;
    
        @ManyToOne(fetch = FetchType.LAZY, cascade = CascadeType.MERGE)
        @JoinColumn(name = "newsSite")
        private NewsSite site;
    
        @ManyToMany(fetch = FetchType.EAGER, cascade = CascadeType.MERGE)
        @JoinTable(name = "query_news_post", joinColumns = @JoinColumn(name = "newsid"), inverseJoinColumns = @JoinColumn(name = "queryid"))
        private Set<QueryEntity> queries;
    }
    
    
    @Entity
    @Data
    @Builder
    @NoArgsConstructor
    @AllArgsConstructor
    @Table(name = "queries", schema = "data")
    @EqualsAndHashCode
    public class QueryEntity {
    
        @Id
        @GeneratedValue(strategy = GenerationType.IDENTITY)
        @Column(name = "id")
        private int id;
        @EqualsAndHashCode.Exclude
        @Basic
        @Column(name = "query")
        private String query;
    
        // needs to be exclueded otherwise we can create stack overflow, because of circular references...
        @EqualsAndHashCode.Exclude
        @ToString.Exclude
        @ManyToMany(mappedBy = "queries", fetch = FetchType.LAZY, cascade = CascadeType.MERGE)
        Set<PostsEntity> posts;
    
    }
    
    
    
    @Entity
    @Data
    @Table(name = "sites", schema = "data")
    @EqualsAndHashCode
    @NoArgsConstructor
    @AllArgsConstructor
    @Builder
    public class newsSite {
        @Id
        @Column(name = "SiteId")
        private long id;
        @Basic
        @Column(name = "SiteName")
        private String site;
    
    }
    

    目前我正在做以下工作:创建查询并检索查询的名称。然后我开始爬行: 我以分页的方式从webapi获取对象,pagesize为100个newspost我使用对象映射器将json响应映射到实体类。

    后来我尝试了两种不同的方法:

    1. 我将设置好的查询ID添加到NewsPost中,并用 EntityManager 的合并选项。这个方法非常有效,直到我到达了一个关键点,在这里我得到了另一个查询的新闻帖子,然后新的查询被旧的查询覆盖。为了解决这个问题,它尝试了2。
    2. 我检查新闻帖子是否已经存在,如果已经存在,我检索到的帖子将新的查询添加到现有的查询中,并像以前一样将其合并回数据库。当我这样做的时候,我工作得很好,我得到了第一批的预期结果,但是突然应用程序开始为第三批消耗越来越多的内存。我附上了JavaVisualVM的截图。有人知道为什么会这样吗? JavaVisualVM

    编辑:

    我觉得爬行一切正常。Webapi以json的形式返回。我使用jackson映射器将其映射到POJO,然后使用Dozer映射器将POJO转换为实体。(是的,我需要的步骤,以POJO为其他目的,在应用程序中,这是工作在罚款第一)。

    关于EntityManager的写作,我不确定是否正确。

    首先,我创建了一个JPA repo来检查post是否已经存在(以获取旧的查询id并避免queryid,posted表中的覆盖问题)。我的JPA回购协议如下。

    @Repository
    public interface PostRepo extends JpaRepository<NewsPost, Long> {
    
        NewsPost getById(long id);
    }
    

    private void updatePosts(List<NewsPost> posts){
        posts.forEach(post->{
                    NewsPost foundPost = postRepo.getById(post.getId());
                    if(foundPost!=null){
                        post.getQueries().addAll(foundPost.getQueries());   
                    }});
    }
    
    

    我现在写我的实体如下我有一个实体的列表,也包含更新后的帖子,我有一个自动连线 EntityManagerFactory

    EntityManager em = entityManagerFactory.createEntityManager();
            try {
                EntityTransaction transaction = em.getTransaction();
                transaction.begin();
                entities.forEach(entity->em.merge(entity))
                em.flush();
                transaction.commit();
            } finally {
                em.clear();
                em.close();
            }
    
    

    我很确定这是写作的过程。如果我保持我的软件逻辑相同,但只是跳过合并或只是打印或转储实体到一个文件一切工作和快速,没有错误出现,所以似乎是一个问题与合并意见?

    关于我的程序是否会因为内存消耗而死掉的问题。如果我在我的mac上运行它,会消耗8+千兆字节的ram,但mac OS会处理这个问题,并将ram交换到磁盘。如果我将它作为docker容器von CentOS运行,由于内存不足,进程将被终止。

    现在不知道这是否相关,但我使用的是OpenJDK 11、Springboot 2.2.6和MYSQL 8数据库。

    我在我的应用程序.yml:

    spring:
      main:
        allow-bean-definition-overriding: true
      datasource:
        url: "jdbc:mysql://db"
        username: user
        password: secret
        driver-class-name: com.mysql.cj.jdbc.Driver
        test-while-idle: true
        validation-query: Select 1
      jpa:
        database-platform: org.hibernate.dialect.MySQL8Dialect
        hibernate:
          ddl-auto: none
        properties:
          hibernate:
            event:
              merge:
                entity_copy_observer: allow
        ```
    
    0 回复  |  直到 6 年前
        1
  •  1
  •   areus    6 年前

    如果合并过程是问题所在,那么一个快速修复方法可以在合并过程中保持较低的内存消耗 entityManager 可以添加一个 em.flush(); 和 em.clear();

    EntityTransaction transaction = em.getTransaction();
    transaction.begin();
    entities.forEach(entity-> {
        em.merge(entity);
        em.flush();
        em.clear();
    });
    transaction.commit();
    

    不过,我认为你应该改变你的模式。仅仅为了添加新的查询而加载每个post的所有现有查询是非常低效的。您可以将N-M关系建模为一个新的实体,并保持新的关系。

        2
  •  1
  •   Bierbarbar    6 年前

    我靠自己的努力解决了。我为多对多关系创建了一个实体。之后,我为每个实体创建了CRUD存储库并使用 saveAll 从积垢储存库。这对记忆也很有效。GC现在在内存可视化中生成预期的链锯模式。但是我仍然不知道为什么我之前创建的多对多关系与注释中的连接表产生了有关内存管理的问题。有人能解释一下为什么这解决了我的问题是许多创建循环依赖的问题吗?但据我所知,GC也会发现循环依赖。

        3
  •  0
  •   JLazar0    6 年前

    在许多事物中,渴望的关系会带来许多事物。关于LAZY realtion,请确保获取它们,因为如果不获取它们,则遍历整个对象以将其转换为JSON或POJO将为每个未使用获取初始化的对象抛出一个查询,这是危险的。如果您不需要所有的注释,那么可以使用@JsonIgnore注释。