vlambda博客
学习文章列表

网络模型量化与推理加速框架OpenVINO最新版本SDK演示

神经网络模型量化与推理加速神器

论文

01


英特尔从2018年发布OpenVINO 视觉框架之后,很多公司与开发者尝试之后,反馈良好。至今英特尔几乎每个季度都会更新一个小版本发布,最新发布的OpenVINO 2019R03版本,跟2018年的版本有了全方位的性能提升、SDK开发接口更加的易用易学,对开发者更加的友好。去年我记得我使用OpenVINO SDK开发应用程序的时候,经常被代码中的各种路径常量搞得晕头转向,吐槽这种加载IE的方式很让人无语,果然,今年都改好啦。而且更重要的是优化整个开发流程的SDK使用,使得整个工作流看上去更加合理,符合程序员的思维习惯。同时对各种硬件支持,更加的灵活方便,加强了可配置性。另外还有个值得惊喜的地方是支持INT8的模型量化啦,这个真的好!

查询支持硬件设备

02


SDK新增了支持设备的查询,这个功能很实用!代码如下:

// 创建IE插件, 查询支持硬件设备
 InferenceEngine::Core ie;
 vector<string> availableDevices = ie.GetAvailableDevices();
 for (int i = 0; i < availableDevices.size(); i++) {
          printf("supported device name : %s \n", availableDevices[i].c_str());
 }


运行时候结果如下:

我有个NCS2的计算棒,所以它也会找到。


推理引擎SDK开发演示

03


使用自带的人脸检测模型,实现人脸检测程序,SDK开发流程如下:

网络模型量化与推理加速框架OpenVINO最新版本SDK演示

加载插件

// 创建IE插件, 查询支持硬件设备
Core ie;


加载模型文件

// 加载检测模型CNNNetReader network_reader;network_reader.ReadNetwork(model_xml);network_reader.ReadWeights(model_bin);


设置输入输出

// 请求网络输入与输出信息auto network = network_reader.getNetwork();InferenceEngine::InputsDataMap input_info(network.getInputsInfo());InferenceEngine::OutputsDataMap output_info(network.getOutputsInfo());// 设置输入格式for (auto &item : input_info) { auto input_data = item.second; input_data->setPrecision(Precision::U8); input_data->setLayout(Layout::NCHW); input_data->getPreProcess().setResizeAlgorithm(RESIZE_BILINEAR); input_data->getPreProcess().setColorFormat(ColorFormat::RGB);}printf("get it \n");

// 设置输出格式for (auto &item : output_info) { auto output_data = item.second; output_data->setPrecision(Precision::FP32);}


创建可执行网络

- CPU支持

ie.AddExtension(std::make_shared<Extensions::Cpu::CpuExtensions>(), "CPU");
auto executable_network = ie.LoadNetwork(network, "CPU");


- GPU运行

auto executable_network = ie.LoadNetwork(network, "GPU");


- NCS2计算棒运行

auto executable_network = ie.LoadNetwork(network, "MYRIAD");


设置输入数据

// 请求推断图
auto infer_request = executable_network.CreateInferRequest();

/** Iterating over all input blobs **/
for (auto & item : input_info) {
    auto input_name = item.first;

    /** Getting input blob **/
    auto input = infer_request.GetBlob(input_name);
    size_t num_channels = input->getTensorDesc().getDims()[1];
    size_t h = input->getTensorDesc().getDims()[2];
    size_t w = input->getTensorDesc().getDims()[3];
    size_t image_size = h*w;
    Mat blob_image;
    resize(src, blob_image, Size(h, w));

    // NCHW
    unsigned char* data = static_cast<unsigned char*>(input->buffer());
    for (size_t row = 0; row < h; row++) {
        for (size_t col = 0; col < w; col++) {
            for (size_t ch = 0; ch < num_channels; ch++) {
                data[image_size*ch + row*w + col] = blob_image.at<Vec3b>(row, col)[ch];
            }
        }
    }
}


执行推理

// 执行预测
infer_request.Infer();


输出

// 处理输出结果
for (auto &item : output_info) {
    auto output_name = item.first;

    // 获取输出数据
    auto output = infer_request.GetBlob(output_name);
    const float* detection = static_cast<PrecisionTrait<Precision::FP32>::value_type*>(output->buffer());
    const SizeVector outputDims = output->getTensorDesc().getDims();
    const int maxProposalCount = outputDims[2];
    const int objectSize = outputDims[3];

    // 解析输出结果
    for (int curProposal = 0; curProposal < maxProposalCount; curProposal++) {
        float label = detection[curProposal * objectSize + 1];
        float confidence = detection[curProposal * objectSize + 2];
        float xmin = detection[curProposal * objectSize + 3] * image_width;
        float ymin = detection[curProposal * objectSize + 4] * image_height;
        float xmax = detection[curProposal * objectSize + 5] * image_width;
        float ymax = detection[curProposal * objectSize + 6] * image_height;
        if (confidence > 0.5) {
            printf("label id : %d\n"static_cast<int>(label));
            Rect rect;
            rect.x = static_cast<int>(xmin);
            rect.y = static_cast<int>(ymin);
            rect.width = static_cast<int>(xmax - xmin);
            rect.height = static_cast<int>(ymax - ymin);
            putText(src, "OpenVINO-2019R03 face detection demo", Point(2020), FONT_HERSHEY_SIMPLEX, 0.75, Scalar(00255), 28);
            rectangle(src, rect, Scalar(0255255), 280);
        }
        std::cout << std::endl;
    }
}
imshow("openvino-ssd-face-demo", src);


运行结果如下

模型下载

04


安装好OpenVINO之后在

deployment_tools\tools\model_downloader

目录下有个downloader.py文件,在命令行中运行

python downloader.py --name face-detection-retail-0004

即可下载模型,之前在我的视频课程中有很多人问我为什么不能下载,无法创建目录等问题,我都晕死了!大多数都是因为在运行命令行的时候没有以管理员权限运行,所以无法成功!

推荐阅读