前天使用jython全量build数据中间总会出现字符乱码问题,浪费了很多时间找问题原因,记录一下问题解决过程。
问题现象:
2013-09-27 15:39:08 [ERROR] com.duitang.dboss.client.SimpleServiceProxy - service invoke faild! org.codehaus.jackson.JsonParseException: Illegal unquoted character ((CTRL-CHAR, code 0)): has to be escaped using backslash to be included in string value at [Source: java.io.StringReader@2710e110; line: 1, column: 387287] at org.codehaus.jackson.JsonParser._constructError(JsonParser.java:1433) at org.codehaus.jackson.impl.JsonParserMinimalBase._reportError(JsonParserMinimalBase.java:521) at org.codehaus.jackson.impl.JsonParserMinimalBase._throwUnquotedSpace(JsonParserMinimalBase.java:482) at org.codehaus.jackson.impl.ReaderBasedParser._finishString2(ReaderBasedParser.java:1359) at org.codehaus.jackson.impl.ReaderBasedParser._finishString(ReaderBasedParser.java:1330) at org.codehaus.jackson.impl.ReaderBasedParser.getText(ReaderBasedParser.java:200) at org.codehaus.jackson.map.deser.std.UntypedObjectDeserializer.deserialize(UntypedObjectDeserializer.java:59) at org.codehaus.jackson.map.deser.std.UntypedObjectDeserializer.mapObject(UntypedObjectDeserializer.java:218) at org.codehaus.jackson.map.deser.std.UntypedObjectDeserializer.deserialize(UntypedObjectDeserializer.java:47) at org.codehaus.jackson.map.deser.std.UntypedObjectDeserializer.mapArray(UntypedObjectDeserializer.java:165) at org.codehaus.jackson.map.deser.std.UntypedObjectDeserializer.deserialize(UntypedObjectDeserializer.java:51) at org.codehaus.jackson.map.deser.std.MapDeserializer._readAndBind(MapDeserializer.java:319) at org.codehaus.jackson.map.deser.std.MapDeserializer.deserialize(MapDeserializer.java:249) at org.codehaus.jackson.map.deser.std.MapDeserializer.deserialize(MapDeserializer.java:33) at org.codehaus.jackson.map.ObjectMapper._readMapAndClose(ObjectMapper.java:2732) at org.codehaus.jackson.map.ObjectMapper.readValue(ObjectMapper.java:1863) at com.duitang.dboss.client.SimpleServiceProxy.doExecute(SimpleServiceProxy.java:76) at com.duitang.dboss.client.SimpleServiceProxy.execute(SimpleServiceProxy.java:48) at sun.reflect.GeneratedMethodAccessor22.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.python.core.PyReflectedFunction.__call__(PyReflectedFunction.java:186) at org.python.core.PyReflectedFunction.__call__(PyReflectedFunction.java:204) at org.python.core.PyObject.__call__(PyObject.java:438) at org.python.core.PyObject.__call__(PyObject.java:442) at org.python.core.PyMethod.__call__(PyMethod.java:151) at dboss$py._JServiceProxy__invoke$42(/duitang/dist/app/main/java/japa/src/main/webapp/dboss.py:342)
过程分析:
1. 猜测一:数据的问题
通过报错原因应该是dboss返回的字符串包含特殊字符导致的。之前以为是某些数据包含特殊字符导致的,但是把导致错误ids记录下来测试却不会报错。
2.猜测二: 和数据没有关系
之前每次通过build数据报错来验证,这样每次测试话费很多时间,后来转念一想,也许和数据没关系吧,在本地写了一个测试脚本:
DbossClient dbossClient = new DbossClient(map); final ServiceProxy blogQueryService = dbossClient.getService("blogQueryService"); for (int i = 0; i < 1000; ++i) { try { List<Long> ids = new ArrayList(); for (int j = 0; j < 2000; ++j) { ids.add(8772421l); } Object result = blogQueryService.execute("queryBlogDetail", new Object[] { ids }); System.out.println(i); } catch (Exception e) { e.printStackTrace(); break; } }
靠,居然能重现问题,果然和数据关系,应该是大数据量传输的问题。
扫描二维码关注公众号,回复:
1228063 查看本文章
3.猜测三: buf读取的问题
现在问题很好定位了,之前修改了readLine方法:
public String readLine(int length) throws IOException { int bytesToRead = Math.min(input.available(), length); ByteArrayOutputStream output = new ByteArrayOutputStream(bytesToRead); int index = 0; byte[] buffer = null; while (true) { buffer = output.toByteArray(); index = ToolUtil.indexOf(buffer, EOF); if (index >= 0) { break; } bytesToRead = Math.min(input.available(), length); if (bytesToRead > 0) { byte[] bytes = new byte[bytesToRead]; input.read(bytes); output.write(bytes); } else { int b = input.read(); // 此操作会阻塞,直到有数据被读到 if (b < 0) { throw new IOException( " end of the socket input stream has been reached,may be server socket is closed!"); } else { input.unread(b); continue; } } } return new String(buffer, DbossClientConstant.ENCODE); }
但这个方法存在一个bug,其实很基础,原来input.available()返回的可用字节数,不一定保证input.read(bytes)实际能读取这么多。请看available()是如何描述的:
javadoc写道
返回此输入流下一个方法调用可以不受阻塞地从此输入流读取(或跳过)的估计字节数。下一个调用可能是同一个线程,也可能是另一个线程。一次读取或跳过此估计数个字节不会受阻塞,但读取或跳过的字节数可能小于该数。
注意,有些 InputStream 的实现将返回流中的字节总数,但也有很多实现不会这样做。试图使用此方法的返回值分配缓冲区,以保存此流所有数据的做法是不正确的。
注意,有些 InputStream 的实现将返回流中的字节总数,但也有很多实现不会这样做。试图使用此方法的返回值分配缓冲区,以保存此流所有数据的做法是不正确的。