爱站程序员基地续我的6月15号的博客，原本准备将我自己训练的YOLO V3的模型移植到手机上，但是尝试了几次都不成功，发现自己训练的模型，在转换成.pb文件之后，创建tensorflow接口总是失败，估计时我模型保存时有其他的问题，故想先移植一个官方demo能够运行的SSD模型。
目录
- 1.安卓手机显示的效果图
- 2.移植步骤-添加依赖和配置
- 2.1 将想要移植的模型放到指定位置
- 2.2 添加.so和 .jar的依赖
- 2.3 app\\build.gradle（Module：app）配置
- 3.1首先创建一个Classifier.java的接口
- 3.2创建一个类继承Classifier接口
- 3.3 调用模型，并传出识别结果
- 4.1 图片传入模型前的处理
- 4.2 取出模型的识别结果
- 4.3 在原图上画出识别结果
1.安卓手机显示的效果图
话不多说，先上我的手机最终显示的效果图。
这个图是我用摄像头进行拍照，然后调用模型进行识别，将结果在原图上进行显示并传送到ImageView上，最终使用保存按钮，保存的图片。
2.移植步骤-添加依赖和配置
我前期主要参考http://www.voidcn.com/article/p-rbnqjtim-brt.html，这篇中的第2 和第3部分
2.1 将想要移植的模型放到指定位置
把训练好的pb文件放入Android项目中app/src/main/assets下，若不存在assets目录，右键main->new->Directory，输入assets。
我这个步骤主要是从tensorflow的官方demo中将ssd_mobilenet_v1_android_export.pb和coco_labels_list.txt copy过来放到了assets文件夹下面
2.2 添加.so和 .jar的依赖
将下载的libtensorflow_inference.so和libandroid_tensorflow_inference_java.jar如下结构放在libs文件夹下，这个依赖文件我会放到我的资源里，可以直接下载。
2.3 app\\build.gradle（Module：app）配置
在defaultConfig中添加
multiDexEnabled truendk {abiFilters \"armeabi-v7a\"}
增加sourceSets
sourceSets {main {jniLibs.srcDirs = [\'libs\']}}
添加完之后的截图如下：
在dependencies中增加TensoFlow编译的jar文件libandroid_tensorflow_inference_java.jar：
implementation files(\'libs/libandroid_tensorflow_inference_java.jar\')
到现在为止，build.gradle就配置完成了，接下来就是模型调用问题了。
3.移植步骤-模型调用
3.1首先创建一个Classifier.java的接口
新建接口和新建类一样的，这里不重复。
这个类是从官方demo中直接抄的，没有做任何的修改，所以直接复制粘贴就行了。
package com.example.mycamera;import android.graphics.Bitmap;import android.graphics.RectF;import java.util.List;public interface Classifier {/*** An immutable result returned by a Classifier describing what was recognized.*/public class Recognition {/*** A unique identifier for what has been recognized. Specific to the class, not the instance of* the object.*/private final String id;/*** Display name for the recognition.*/private final String title;/*** A sortable score for how good the recognition is relative to others. Higher should be better.*/private final Float confidence;/** Optional location within the source image for the location of the recognized object. */private RectF location;public Recognition(final String id, final String title, final Float confidence, final RectF location) {this.id = id;this.title = title;this.confidence = confidence;this.location = location;}public String getId() {return id;}public String getTitle() {return title;}public Float getConfidence() {return confidence;}public RectF getLocation() {return new RectF(location);}public void setLocation(RectF location) {this.location = location;}@Overridepublic String toString() {String resultString = \"\";if (id != null) {resultString += \"[\" + id + \"] \";}if (title != null) {resultString += title + \" \";}if (confidence != null) {resultString += String.format(\"(%.1f%%) \", confidence * 100.0f);}if (location != null) {resultString += location + \" \";}return resultString.trim();}}List<Recognition> recognizeImage(Bitmap bitmap);void enableStatLogging(final boolean debug);String getStatString();void close();}
3.2创建一个类继承Classifier接口
创建的这个类主要的功能是：1.创建一个模型的接口，2.将需要识别的图片传入模型 3.将识别的结果从模型中取出，并返回最终结果。
//继承Classifier类的create功能public static Classifier create(final AssetManager assetManager,final String modelFilename,final String labelFilename,final int inputSize) throws IOException {final TFYoloV3Detector d = new TFYoloV3Detector();InputStream labelsInput = null;String actualFilename = labelFilename.split(\"file:///android_asset/\")[1];labelsInput = assetManager.open(actualFilename);BufferedReader br = null;br = new BufferedReader(new InputStreamReader(labelsInput));String line;while ((line = br.readLine()) != null) {//LOGGER.w(line);d.labels.add(line);}br.close();d.inferenceInterface = new TensorFlowInferenceInterface(assetManager, modelFilename);final Graph g = d.inferenceInterface.graph();d.inputName = \"image_tensor\";final Operation inputOp = g.operation(d.inputName);if (inputOp == null) {throw new RuntimeException(\"Failed to find input Node \'\" + d.inputName + \"\'\");}d.inputSize = inputSize;final Operation outputOp1 = g.operation(\"detection_scores\");if (outputOp1 == null) {throw new RuntimeException(\"Failed to find output Node \'detection_scores\'\");}final Operation outputOp2 = g.operation(\"detection_boxes\");if (outputOp2 == null) {throw new RuntimeException(\"Failed to find output Node \'detection_boxes\'\");}final Operation outputOp3 = g.operation(\"detection_classes\");if (outputOp3 == null) {throw new RuntimeException(\"Failed to find output Node \'detection_classes\'\");}// Pre-allocate buffers.d.outputNames = new String[] {\"detection_boxes\", \"detection_scores\",\"detection_classes\", \"num_detections\"};d.intValues = new int[d.inputSize * d.inputSize];d.byteValues = new byte[d.inputSize * d.inputSize * 3];d.outputScores = new float[MAX_RESULTS];d.outputLocations = new float[MAX_RESULTS * 4];d.outputClasses = new float[MAX_RESULTS];d.outputNumDetections = new float[1];return d;}
直接继承这个Classifier接口，可能会报错，只需要在报错的地方，点击显示的红色的小灯泡，然后就可以继承这个接口了。
3.3 调用模型，并传出识别结果
public List<Recognition> recognizeImage(final Bitmap bitmap) {//Bitmap bitmapResized = bitmapToFloatArray(bitmap,inputSize,inputSize);//需要将图片缩放带28*28// Copy the input data into TensorFlow.bitmap.getPixels(intValues, 0, bitmap.getWidth(), 0, 0, bitmap.getWidth(), bitmap.getHeight());for (int i = 0; i < intValues.length; ++i) {byteValues[i * 3 + 2] = (byte) (intValues[i] & 0xFF);byteValues[i * 3 + 1] = (byte) ((intValues[i] >> 8) & 0xFF);byteValues[i * 3 + 0] = (byte) ((intValues[i] >> 16) & 0xFF);}//将需要识别的图片feed给模型inferenceInterface.feed(inputName, byteValues, 1, inputSize, inputSize, 3);inferenceInterface.run(outputNames, logStats);//运行模型outputLocations = new float[MAX_RESULTS * 4];outputScores = new float[MAX_RESULTS];outputClasses = new float[MAX_RESULTS];outputNumDetections = new float[1];//将识别的结果取出来inferenceInterface.fetch(outputNames[0], outputLocations);inferenceInterface.fetch(outputNames[1], outputScores);inferenceInterface.fetch(outputNames[2], outputClasses);inferenceInterface.fetch(outputNames[3], outputNumDetections);// Scale them back to the input size.final ArrayList<Recognition> recognitions = new ArrayList<Recognition>();for (int i = 0; i < (int)outputNumDetections[0]; ++i) {final RectF detection =new RectF(outputLocations[4 * i + 1] * inputSize,outputLocations[4 * i] * inputSize,outputLocations[4 * i + 3] * inputSize,outputLocations[4 * i + 2] * inputSize);recognitions.add(new Recognition(\"\" + i, labels.get((int) outputClasses[i]), outputScores[i], detection));}/*final ArrayList<Recognition> recognitions = new ArrayList<Recognition>();for (int i = 0; i <= Math.min(pq.size(), MAX_RESULTS); ++i) {recognitions.add(pq.poll());}*/return recognitions;}
4.移植步骤-结果显示
4.1 图片传入模型前的处理
将图片缩放至指定的大小：bitmap即为你想要输入模型的图片
Bitmap bitmapResized = bitmapResize(bitmap,YOLO_INPUT_SIZE,YOLO_INPUT_SIZE);//需要将图片缩放至416*416
其中bitmapResize的函数如下：
//将原图缩放到模型的指定输入大小，bitmap是原图，rx，ry是模型的输入图片大小public static Bitmap bitmapResize(Bitmap bitmap, int rx, int ry){int height = bitmap.getHeight();int width = bitmap.getWidth();// 计算缩放比例float scaleWidth = ((float) rx) / width;float scaleHeight = ((float) ry) / height;Matrix matrix = new Matrix();matrix.postScale(scaleWidth, scaleHeight);bitmap = Bitmap.createBitmap(bitmap, 0, 0, width, height, matrix, true);return bitmap;}
计算原图和送入模型的图像缩放比：scaleimageX和scaleimageY的类型为float
scaleimageX=(float) (bitmap.getWidth()*1.0)/bitmapResized.getWidth();//计算原图和送入模型的缩放比例x方向scaleimageY=(float)(bitmap.getHeight()*1.0)/bitmapResized.getHeight();//计算原图和送入模型的缩放比例x方向
4.2 取出模型的识别结果
final List<Classifier.Recognition> results = detector.recognizeImage(bitmapResized);//取出识别的结果
4.3 在原图上画出识别结果
首先设置画布和画笔的参数，然后计算模型识别结果到原图的映射，最终画出目标检测结果边界框、类别和概率。代码如下：
croppedBitmap = bitmap.copy(Bitmap.Config.ARGB_8888, true);//copy原图final Canvas canvas = new Canvas(croppedBitmap);//创建一个新画布final Paint paint = new Paint();//创建绘制paint.setColor(Color.RED);//设置颜色paint.setStyle(Paint.Style.STROKE);//创建绘制轮廓paint.setStrokeWidth(5.0f);//设置画笔的宽度final Paint paintText = new Paint();//创建字体paintText.setColor(Color.RED);//设置颜色paintText.setTextSize(80);//设置子图大小float minimumConfidence = MINIMUM_CONFIDENCE_YOLO;final List<Classifier.Recognition> mappedRecognitions =new LinkedList<Classifier.Recognition>();for (final Classifier.Recognition result : results) {//还原边界框在原图的位置final RectF location = new RectF(result.getLocation().left *= scaleimageX,result.getLocation().top *= scaleimageY,result.getLocation().right *= scaleimageX,result.getLocation().bottom *= scaleimageY);//判断大于设置的置信度则将位置在原图上标记出来if (location != null && result.getConfidence() >= minimumConfidence) {//location[0]=location[0]*canvas.drawRect(location, paint);//画边界框canvas.drawText(result.getTitle()+\" \"+result.getConfidence(),location.left,location.top-10,paintText);//将类别和概率显示在图上//cropToFrameTransform.mapRect(location);result.setLocation(location);mappedRecognitions.add(result);}}cameraPicture.setImageBitmap(croppedBitmap);//将最终的图显示在ImageVieView控件
到这里，调用模型的步骤就结束了，我主要是阅读tensorflow中的Android的demo，从里面抽取出我需要的功能，最终成功了。
5.总结
耗时6天，完成了每天除了吃饭睡觉一直在干的事情。从刚开始的一头雾水不知道从何下手，最终完成了我所需要的模型调用功能。这次最大的收获是，知道了Android端调用深度学习模型的几个步骤，相当于我毕设的倒数第二章已经完成，下一步是查找正确的保存模型并正确的转换成.pb文件的方法，将自己训练的粮虫识别的模型移植到手机上。
自己的收获：还是要静下心阅读源码，不能急躁，一直想这抄现成的。
离最后的成功又近一步，加油自己！
