代码之家  ›  专栏  ›  技术社区  ›  Adrian

如何在glm中指定特定的优化方法

  •  1
  • Adrian  · 技术社区  · 5 年前

    在的文档中 glm ,有一个 method 选项,在文档中它说

    用户提供的配件功能可以作为功能提供 或命名函数的字符串,其中函数 与glm.fit相同的参数。如果指定为字符串,则 是从stats命名空间中查找的。

    我想使用二项式非负最小二乘优化器,使系数为非负,总和为1。使用此优化器的示例在 SuperLearner 包含选项的包 method = "method.NNLS" 。下面是一个可重复的示例:

    library(SuperLearner)
    # binary outcome
    set.seed(1)
    N <- 200
    X <- matrix(rnorm(N*10), N, 10)
    X <- as.data.frame(X)
    Y <- rbinom(N, 1, plogis(.2*X[, 1] + .1*X[, 2] - .2*X[, 3] +
                               .1*X[, 3]*X[, 4] - .2*abs(X[, 4])))
    
    SL.library <- c("SL.glmnet", "SL.glm", "SL.knn", "SL.mean")
    
    # least squares loss function
    test.NNLS <- SuperLearner(Y = Y, X = X, SL.library = SL.library,
                              verbose = TRUE, method = "method.NNLS", family = binomial())
    > test.NNLS
    
    Call:  
    SuperLearner(Y = Y, X = X, family = binomial(), SL.library = SL.library, method = "method.NNLS",  
        verbose = TRUE) 
    
    
                       Risk      Coef
    SL.glmnet_All 0.2460486 0.0000000
    SL.glm_All    0.2507033 0.2423697
    SL.knn_All    0.2508500 0.3493301
    SL.mean_All   0.2475494 0.4083002
    

    请注意 Coef s是非负的并且和为1。有没有办法将相同的优化器与 glm ? 或者使用相同约束的不同优化器?我尝试过:

    glm(Y ~ as.matrix(X), family = "binomial", method = "method.NNLS")

    但它没有起作用。

    0 回复  |  直到 5 年前
        1
  •  2
  •   Ben Bolker    5 年前

    A. 解决这个问题的方法(不是唯一的方法,可能不是最有效或最紧凑的方法)是对变换空间中的参数进行一般的最大似然估计;可能最常见的这种转换是 加性对数比变换 (例如,如 compositions::alr() ). 此解决方案使用 bbmle 包装,这是一个包装 optim() ; 在这种情况下,与直接使用相比,它实际上并没有提供那么多优势 optim()

    library(bbmle)
    library(compositions)
    linkfun <- function(mu) as.numeric(compositions::alr(mu))
    invlink <- function(eta) as.numeric(compositions::alrInv(eta))
    
    ## negative log-likelihood function: first convert the parameter vector
    ## from the constrained (alr) space to the unconstrained space, then
    ## convert the linear predictor from an unconstrained space to the
    ## constrained (probability, (0,1)) space
    lfun <- function(beta) {
        -sum(dbinom(Y, size=1, 
                    prob = plogis(as.matrix(X) %*% invlink(beta)),
                    log=TRUE))
    }
    npar <- ncol(X)
    

    使用 mle2 :

    ## extra setup for using mle2 with a score function that takes a vector
    ## parameter
    pnm <- paste0("beta", seq(npar))
    parnames(lfun) <- pnm
        
    m1 <- mle2(lfun, start = setNames(rep(0, npar-1), pnm[-1]), vecpar = TRUE)
    invlink(coef(m1))
    ##  [1] 4.897617e-01 2.221793e-01 1.274830e-05 2.198596e-05 7.541545e-02
    ##  [6] 1.175966e-01 1.590407e-05 4.662563e-02 4.825376e-02 1.170077e-04
    

    或

    opt <- optim(par = rep(0, npar-1), fn = lfun, method = "BFGS")
    invlink(opt$par)
    

    注1

    我的模型拟合与您用于生成数据的方法不匹配(这将在公式中编码为 ~ 0 + x1 + x2 + x3 + x3:x4 + abs(x4) ),但你的 SuperLearner 例如,所以我并不担心。

    注2

    我的猜测(未经仔细考虑)是,上述方法将 不 给出与使用相同的结果 超级学习者 ; 看看代码,什么 超级学习者 做的是找到(加权)最小二乘问题的非负解,然后通过将系数向量除以其和将系数转换到组合空间。这是 不一样 作为解决参数被约束为非负并且总和为1的最小偏差/最大似然问题。如果你想要 超级学习者 解决方案,通过传递适当的 method= 的论点 glm ,但我不知道如何使用 glm .

    推荐文章