编程是一门艺术

raptor.zh(at)gmail.com Creative Commons License
本作品采用知识共享署名-非商业性使用-相同方式共享 2.5 中国大陆许可协议进行许可。

archives 存档

01 Jan - 31 Dec 2018
01 Jan - 31 Dec 2017
01 Jan - 31 Dec 2016
01 Jan - 31 Dec 2015
01 Jan - 31 Dec 2014
01 Jan - 31 Dec 2013
01 Jan - 31 Dec 2012
01 Jan - 31 Dec 2011
01 Jan - 31 Dec 2010
01 Jan - 31 Dec 2009
01 Jan - 31 Dec 2008
01 Jan - 31 Dec 2007
01 Jan - 31 Dec 2006
01 Jan - 31 Dec 2005
01 Jan - 31 Dec 2004
01 Jan - 31 Dec 2003
01 Jan - 31 Dec 2002
01 Jan - 31 Dec 2001
01 Jan - 31 Dec 2000
01 Jan - 31 Dec 1999

--

links 链接

--

Go的http库处理multipart的两个问题解决

问题说明

最近因为项目需要搞了一些golang的开发,碰到不少问题,除了之前踩的那个关于ActiveMQ的坑以外,最近又在用Gin进行Web开发踩到一个http库里的坑。

Gin本身只是一个简单的包装,大部分功能还是基于net/http这个标准库,其中就包括了Request。

这次碰到的两个问题都是由于一个原因引起的:那就是我在处理POST请求接收文件上传的时候,有时会丢失请求参数(上传文件可以收到,但一起传过来的Post参数为空)。

经过返复测试,发现用python的requests发过来的请求是可以正常处理的,但是用Java发过来的请求就出错。

为了调试这个问题,我想把请求内容打出日志来,于是碰到了第一个问题:

Request.Body是一个ReaderCloser缓冲,只能读一次,如果我读出来打日志,那么后面的参数肯定都为空,如果取了参数,则这个缓冲也为空。

当然,第二个问题就是那个POST请求丢失的问题,其原因后面说。

无损读取Request.Body的方法

按官方文档和Stackoverflow上找来的各自方法都尝试过,比如读完再写回,或者是用Bind,都不能正常取到内容,最后是在一个外国人的BLOG的评论里看到有人提到一个方法:

httputil.DumpRequest

最终解决了这个问题,写了一个调试专用的方法:

func req_body(c *gin.Context) string {
    body, err := httputil.DumpRequest(c.Request, true)
    if err != nil {
        println(err)
    }
    return string(body[:1024])
}

POST参数丢失问题

有了上面这个方法,我终于找到问题的所在了。下面分别是python和Java的请求内容,注意其中的区别:

python:

Connection: close
Accept: */*
Accept-Encoding: gzip, deflate
Connection: close
Content-Length: xxx
Content-Type: multipart/form-data; boundary=5b9ca15e3fd14316b6a4b03cb4ee4de2
User-Agent: python-requests/2.12.3
X-Forwarded-For: 120.36.xx
X-Real-Ip: 120.36.xx

--5b9ca15e3fd14316b6a4b03cb4ee4de2
Content-Disposition: form-data; name="index"

1
--5b9ca15e3fd14316b6a4b03cb4ee4de2
Content-Disposition: form-data; name="checksum"

testchecksum

Java:

Connection: close
Connection: close
Content-Length: xxx
Content-Type: multipart/form-data; boundary=JqsRkZ2MjzUUb4YOaDn-FvuI_vsjn0sXhhZZ
d
User-Agent: Apache-HttpClient/4.5.2 (Java/1.7.0_79)
X-Forwarded-For: 1.192.xx
X-Real-Ip: 1.192.xx

--JqsRkZ2MjzUUb4YOaDn-FvuI_vsjn0sXhhZZd
Content-Disposition: form-data; name="index"
Content-Type: text/plain; charset=ISO-8859-1
Content-Transfer-Encoding: 8bit

2
--JqsRkZ2MjzUUb4YOaDn-FvuI_vsjn0sXhhZZd
Content-Disposition: form-data; name="checksum"
Content-Type: text/plain; charset=ISO-8859-1
Content-Transfer-Encoding: 8bit

testchecksum

显然,Java版的每个part头里多了一些东西,应该就是这些东西导致了http对multipart的解析失败。

但是我反复试了PostForm和MultipartForm,都无法取得POST参数——PostForm取到的都是空,而MultipartForm取得的form.Value也是空。

最后是我偶然想到试试看MultipartForm的form.File,结果发现原来参数都被解析到这里了……真不知道这个http标准库是怎么设计的,难道这么多Go用户都没有发现吗?还是说Go的用户实际上并没有那么多?

总之为了解决这个问题,只好自己写了一点代码来把File里的参数转到Value里去:

func req_getpart(v *multipart.FileHeader) (string, error) {
    f, err := v.Open()
    if err != nil {
        println("Open fail")
        return "", err
    }
    buf, err := ioutil.ReadAll(f)
    defer f.Close()
    if err != nil {
        println("Read fail")
        return "", err
    }
    return string(buf), nil
}

func req_multipart(c *gin.Context) *multipart.Form {
    form, _ := c.MultipartForm()
    if len(form.Value) == 0 && len(form.File) > 0 {
        for k, v := range form.File {
            if len(v) > 0 {
                buf, err := req_getpart(v[0])
                if err != nil {
                    continue
                }
                form.Value[k] = append(form.Value[k], buf)
            }
        }
        for k, _ := range form.Value {
            delete(form.File, k)
        }
    }
    return form
}

推送到[go4pro.org]

Trackback link:

Please enable javascript to generate a trackback url

No trackbacks

评论(0)


 
   
 
  表情图标 

 


提示: 除了 <b> 和 <i> 之外,其他的Html标签都将从您的评论中去除.url或mail地址会被自动加上链接.