为什么使用信号量会减慢我的Go程序

我制作了一个程序,使用goroutines抓取网站的所有页面:

func main() {
    start := time.Now()

    knownUrls := getKnownURLs(os.Getenv("SITEMAP_URL"))

    var wg sync.WaitGroup
    for index, url := range knownUrls {
        wg.Add(1)

        fmt.Printf("%d/%d\n", index+1, len(knownUrls))

        go func() {
            if err := indexArticleFromURL(url, client); err != nil {
                log.Fatalf("Error indexing doc: %s", err)
            }
            wg.Done()
        }()
    }

    wg.Wait()

    elapsed := time.Since(start)
    fmt.Printf("Took %s", elapsed)
}

这工作得非常快,准确地说,1000页需要5.9秒。但让我感到困扰的是,如果一个网站有数千个页面,它将创建数千个goroutines。

所以我用一个名为 semaphore 据我所知,它应该将goroutine的数量限制在处理器可以处理的范围内。不应该降低性能,因为上面的程序在物理上已经无法使用超过CPU所能提供的线程。

func main() {
    start := time.Now()
    ctx := context.Background()

    knownUrls := getKnownURLs(os.Getenv("SITEMAP_URL"))

    var (
        maxWorkers = runtime.GOMAXPROCS(0)
        sem        = semaphore.NewWeighted(int64(maxWorkers))
    )

    for index, url := range knownUrls {
        if err := sem.Acquire(ctx, 1); err != nil {
            log.Printf("Failed to acquire semaphore: %v", err)
            break
        }

        fmt.Printf("%d/%d\n", index+1, len(knownUrls))

        go func() {
            if err := indexDocFromURL(url, client); err != nil {
                log.Fatalf("Error indexing doc: %s", err)
            }
            sem.Release(1)
        }()
    }

    if err := sem.Acquire(ctx, int64(maxWorkers)); err != nil {
        log.Printf("Failed to acquire semaphore: %v", err)
    }

    elapsed := time.Since(start)
    fmt.Printf("Took %s", elapsed)
}

但现在,当我运行程序时,它需要更多的时间:11+秒。

似乎不应该这样,因为 runtime.GOMAXPROCS(0) 返回可以同时执行的最大CPU数。

为什么信号量版本较慢?我如何使其与不安全程序的性能相匹配,同时确保goroutines的数量不会使其崩溃?