目前我尝试在JPA的帮助下存储一些来自webapi的新闻。
@Entity
@Data
@Table(name = "NewsPosts", schema = "data")
@EqualsAndHashCode
@NoArgsConstructor
@AllArgsConstructor
@Builder
public class NewsPost {
@Id
@Column(name = "id")
private long id;
@Basic
@Column(name = "subject")
private String subject;
@Basic
@Column(name = "post_text")
private String postText;
@ManyToOne(fetch = FetchType.LAZY, cascade = CascadeType.MERGE)
@JoinColumn(name = "newsSite")
private NewsSite site;
@ManyToMany(fetch = FetchType.EAGER, cascade = CascadeType.MERGE)
@JoinTable(name = "query_news_post", joinColumns = @JoinColumn(name = "newsid"), inverseJoinColumns = @JoinColumn(name = "queryid"))
private Set<QueryEntity> queries;
}
@Entity
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
@Table(name = "queries", schema = "data")
@EqualsAndHashCode
public class QueryEntity {
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
@Column(name = "id")
private int id;
@EqualsAndHashCode.Exclude
@Basic
@Column(name = "query")
private String query;
// needs to be exclueded otherwise we can create stack overflow, because of circular references...
@EqualsAndHashCode.Exclude
@ToString.Exclude
@ManyToMany(mappedBy = "queries", fetch = FetchType.LAZY, cascade = CascadeType.MERGE)
Set<PostsEntity> posts;
}
@Entity
@Data
@Table(name = "sites", schema = "data")
@EqualsAndHashCode
@NoArgsConstructor
@AllArgsConstructor
@Builder
public class newsSite {
@Id
@Column(name = "SiteId")
private long id;
@Basic
@Column(name = "SiteName")
private String site;
}
目前我正在做以下工作:创建查询并检索查询的名称。然后我开始爬行:
我以分页的方式从webapi获取对象,pagesize为100个newspost我使用对象映射器将json响应映射到实体类。
后来我尝试了两种不同的方法:
-
我将设置好的查询ID添加到NewsPost中,并用
EntityManager
的合并选项。这个方法非常有效,直到我到达了一个关键点,在这里我得到了另一个查询的新闻帖子,然后新的查询被旧的查询覆盖。为了解决这个问题,它尝试了2。
-
我检查新闻帖子是否已经存在,如果已经存在,我检索到的帖子将新的查询添加到现有的查询中,并像以前一样将其合并回数据库。当我这样做的时候,我工作得很好,我得到了第一批的预期结果,但是突然应用程序开始为第三批消耗越来越多的内存。我附上了JavaVisualVM的截图。有人知道为什么会这样吗?
编辑:
我觉得爬行一切正常。Webapi以json的形式返回。我使用jackson映射器将其映射到POJO,然后使用Dozer映射器将POJO转换为实体。(是的,我需要的步骤,以POJO为其他目的,在应用程序中,这是工作在罚款第一)。
关于EntityManager的写作,我不确定是否正确。
首先,我创建了一个JPA repo来检查post是否已经存在(以获取旧的查询id并避免queryid,posted表中的覆盖问题)。我的JPA回购协议如下。
@Repository
public interface PostRepo extends JpaRepository<NewsPost, Long> {
NewsPost getById(long id);
}
private void updatePosts(List<NewsPost> posts){
posts.forEach(post->{
NewsPost foundPost = postRepo.getById(post.getId());
if(foundPost!=null){
post.getQueries().addAll(foundPost.getQueries());
}});
}
我现在写我的实体如下我有一个实体的列表,也包含更新后的帖子,我有一个自动连线
EntityManagerFactory
EntityManager em = entityManagerFactory.createEntityManager();
try {
EntityTransaction transaction = em.getTransaction();
transaction.begin();
entities.forEach(entity->em.merge(entity))
em.flush();
transaction.commit();
} finally {
em.clear();
em.close();
}
我很确定这是写作的过程。如果我保持我的软件逻辑相同,但只是跳过合并或只是打印或转储实体到一个文件一切工作和快速,没有错误出现,所以似乎是一个问题与合并意见?
关于我的程序是否会因为内存消耗而死掉的问题。如果我在我的mac上运行它,会消耗8+千兆字节的ram,但mac OS会处理这个问题,并将ram交换到磁盘。如果我将它作为docker容器von CentOS运行,由于内存不足,进程将被终止。
现在不知道这是否相关,但我使用的是OpenJDK 11、Springboot 2.2.6和MYSQL 8数据库。
我在我的应用程序.yml:
spring:
main:
allow-bean-definition-overriding: true
datasource:
url: "jdbc:mysql://db"
username: user
password: secret
driver-class-name: com.mysql.cj.jdbc.Driver
test-while-idle: true
validation-query: Select 1
jpa:
database-platform: org.hibernate.dialect.MySQL8Dialect
hibernate:
ddl-auto: none
properties:
hibernate:
event:
merge:
entity_copy_observer: allow
```