1.介紹

在訓練數據線性不可分時，如何定義此情形下支持向量機的最優化問題。為什麼需要將支持向量機優化問題擴展到線性不可分的情形？ 在多數計算機視覺運用中，我們需要的不僅僅是一個簡單的SVM線性分類器， 我們需要更加強大的工具來解決

2.C++實現過程

<code>
//--------------------------------------【程序說明】-------------------------------------------
//\t\t程序描述：支持向量機SVM之處理線性不可分數據
//\t\t測試所用操作系統： Windows 10 64bit
//\t\t測試所用IDE版本：Visual Studio 2017
//\t\t測試所用OpenCV版本：\t3.4
//\t\t2020年3月 Revised by @DL小寶
//------------------------------------------------------------------------------------------------

//---------------------------------【頭文件、命名空間包含部分】----------------------------
//\t\t描述：包含程序所使用的頭文件和命名空間
//------------------------------------------------------------------------------------------------
#include <iostream>
#include <opencv2>
#include <opencv2>
#include <opencv2>
#define NTRAINING_SAMPLES   100         // 每類訓練樣本的數量
#define FRAC_LINEAR_SEP     0.9f        //  部分(Fraction)線性可分的樣本組成部分
using namespace cv;
using namespace std;

//-----------------------------------【ShowHelpText( )函數】----------------------------------
//          描述：輸出一些幫助信息
//----------------------------------------------------------------------------------------------
void ShowHelpText()
{
\t//輸出歡迎信息和OpenCV版本
\tprintf("\\n\\n\\t\\t\\t   當前使用的OpenCV版本為：" CV_VERSION);
\tprintf("\\n\\n  ----------------------------------------------------------------------------\\n");
} 


//-----------------------------------【main( )函數】--------------------------------------------
//\t\t描述：控制檯應用程序的入口函數，我們的程序從這裡開始
//-------------------------------------------------------------------------------------------------
int main()
{
\t//設置視覺表達的參數
\tconst int WIDTH = 512, HEIGHT = 512;
\tMat I = Mat::zeros(HEIGHT, WIDTH, CV_8UC3);
\tShowHelpText();

\t//--------------------- 【1】隨機建立訓練數據 ---------------------------------------
\tMat trainData(2 * NTRAINING_SAMPLES, 2, CV_32FC1);
\tMat labels(2 * NTRAINING_SAMPLES, 1, CV_32FC1);

\tRNG rng(100); // 隨機生成值

\t//建立訓練數據的線性可分的組成部分
\tint nLinearSamples = (int)(FRAC_LINEAR_SEP * NTRAINING_SAMPLES);

\t// 為Class1生成隨機點
\tMat trainClass = trainData.rowRange(0, nLinearSamples);
\t// 點的x座標為[0,0.4)
\tMat c = trainClass.colRange(0, 1);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(0.4 * WIDTH));
\t// 點的Y座標為[0,1)
\tc = trainClass.colRange(1, 2);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

\t// 為Class2生成隨機點
\ttrainClass = trainData.rowRange(2 * NTRAINING_SAMPLES - nLinearSamples, 2 * NTRAINING_SAMPLES);
\t// 點的x座標為[0.6, 1]
\tc = trainClass.colRange(0, 1);
\trng.fill(c, RNG::UNIFORM, Scalar(0.6*WIDTH), Scalar(WIDTH));
\t// 點的Y座標為[0, 1)
\tc = trainClass.colRange(1, 2);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

\t//------------------建立訓練數據的非線性可分組成部分 --------------- 

\t// 隨機生成Class1和Class2的點
\ttrainClass = trainData.rowRange(nLinearSamples, 2 * NTRAINING_SAMPLES - nLinearSamples);
\t// 點的x座標為[0.4, 0.6)
\tc = trainClass.colRange(0, 1);
\trng.fill(c, RNG::UNIFORM, Scalar(0.4*WIDTH), Scalar(0.6*WIDTH));
\t// 點的y座標為[0, 1)
\tc = trainClass.colRange(1, 2);
\trng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT));

\t//-------------------------設置類標籤 ---------------------------------
\tlabels.rowRange(0, NTRAINING_SAMPLES).setTo(1);  // Class 1
\tlabels.rowRange(NTRAINING_SAMPLES, 2 * NTRAINING_SAMPLES).setTo(2);  // Class 2

\t//------------------------ 2. 設置支持向量機的參數 --------------------
\tCvSVMParams params;
\tparams.svm_type = SVM::C_SVC;
\tparams.C = 0.1;
\tparams.kernel_type = SVM::LINEAR;
\tparams.term_crit = TermCriteria(CV_TERMCRIT_ITER, (int)1e7, 1e-6);

\t//------------------------ 3. 訓練支持向量機 ----------------------------------------------------
\tcout << "Starting training process" << endl;
\tCvSVM svm;
\tsvm.train(trainData, labels, Mat(), Mat(), params);
\tcout << "Finished training process" << endl;

\t//------------------------ 4. 標出決策區域（decision regions） ----------------------------------------
\tVec3b green(0, 100, 0), blue(100, 0, 0);
\tfor (int i = 0; i < I.rows; ++i)
\t\tfor (int j = 0; j < I.cols; ++j)
\t\t{
\t\t\tMat sampleMat = (Mat_<float>(1, 2) << i, j);
\t\t\tfloat response = svm.predict(sampleMat);

\t\t\tif (response == 1)    I.at<vec3b>(j, i) = green;
\t\t\telse if (response == 2)    I.at<vec3b>(j, i) = blue;
\t\t}

\t//----------------------- 5. 顯示訓練數據（training data） --------------------------------------------
\tint thick = -1;
\tint lineType = 8;
\tfloat px, py;
\t// Class 1
\tfor (int i = 0; i < NTRAINING_SAMPLES; ++i)
\t{ 

\t\tpx = trainData.at<float>(i, 0);
\t\tpy = trainData.at<float>(i, 1);
\t\tcircle(I, Point((int)px, (int)py), 3, Scalar(0, 255, 0), thick, lineType);
\t}
\t// Class 2
\tfor (int i = NTRAINING_SAMPLES; i < 2 * NTRAINING_SAMPLES; ++i)
\t{
\t\tpx = trainData.at<float>(i, 0);
\t\tpy = trainData.at<float>(i, 1);
\t\tcircle(I, Point((int)px, (int)py), 3, Scalar(255, 0, 0), thick, lineType);
\t}

\t//------------------------- 6. 顯示支持向量（support vectors） --------------------------------------------
\tthick = 2;
\tlineType = 8;
\tint x = svm.get_support_vector_count();
\tfor (int i = 0; i < x; ++i)
\t{
\t\tconst float* v = svm.get_support_vector(i);
\t\tcircle(I, Point((int)v[0], (int)v[1]), 6, Scalar(128, 128, 128), thick, lineType);
\t}
\timwrite("svm.png", I);                      //保存圖像到文件
\timshow("SVM for Non-Linear Training Data", I); // 顯示最終窗口
\twaitKey(0);
}/<float>/<float>/<float>/<float>/<vec3b>/<vec3b>/<float>/<opencv2>/<opencv2>/<opencv2>/<iostream>/<code>

3.結果分析

1. 程序創建了一張圖像，在其中顯示了訓練樣本，其中一個類顯示為淺綠色圓圈，另一個類顯示為淺藍色圓圈。
2. 訓練得到SVM，並將圖像的每一個像素分類。 分類的結果將圖像分為藍綠兩部分，中間線就是最優分割超平面。由於樣本非線性可分， 自然就有一些被錯分類的樣本。 一些綠色點被劃分到藍色區域， 一些藍色點被劃分到綠色區域。
3. 最後支持向量通過灰色邊框加重顯示。

閱讀更多 DL小寶 的文章

關鍵字: 視覺 向量 電腦