2. 程式人生 > >模糊C均值聚類以及C實現

模糊C均值聚類以及C實現

阿新 • • 發佈：2019-01-02

1. 基本介紹

    同K均值類似，FCM演算法也是一種基於劃分的聚類演算法，它的思想就是使得被劃分到同一簇的物件之間相似度最大，而不同簇之間的相似度最小。

    模糊C均值是普通C均值聚類演算法的改進，普通C均值對資料進行硬性劃分，一個樣本一定明確的屬於某一類，FCM對資料進行模糊劃分，使用隸屬度表示一個樣本屬於某一類的程度。實際聚類中可能會遇到這樣的情況，蝴蝶形資料集中樣本點的類別不好硬性判斷，所以引入隸屬度來進行模糊劃分。


    隸屬度函式是表示一個物件x隸屬於集合A的程度的函式，通常記做μA(x)，其自變數範圍是所有可能屬於集合A的物件（即集合A所在空間中的所有點），取值範圍是[0,1]，即0<=1，μA

(x)<=1。μA(x)=1表示x完全隸屬於集合A，相當於傳統集合概念上的x∈A。一個定義在空間X={x}上的隸屬度函式就定義了一個模糊集合A，或者叫定義在論域X={x}上的模糊子集 。對於有限個物件x1，x2，……，xn模糊集合可以表示為：


2. 引數更新公式推導

a.隸屬度矩陣：Uc×n

    Uij 是第i 個樣本屬於第j個聚類的隸屬度。






3. 步驟

（a）確定類別數C，引數m，和迭代停止誤差Epslion以及最大迭代次數MaxIterationTimes

（b）初始化聚類中心P

（c）計算初始的距離矩陣D

（d）按下列公式更新隸屬度：

注意，如果有距離為0的情況出現，則把該點與相應類的隸屬度設為1，其它設為0。

（e）更新聚類中心


（f）重新計算距離矩陣，並計算目標函式的值


（g）若達到最大迭代次數或者前後兩次的J的絕對差小於迭代停止誤差則停止，否則轉（d）,也可以使用前後兩次隸屬度矩陣的差來判斷。

（h）將樣本點劃分為隸屬度最大的那一類。

4. C實現（使用了opencv做資料顯示）

#include "highgui.h"
#include <math.h> 
#include <time.h>
#include "cv.h"

//FCM聚類，得到的結果從0開始計數
void myFCMeans(float* pSamples,int* pClusterResult,int clusterNum,int sampleNum,int featureNum,int m_Value);
void main()
{
    #define MAX_CLUSTERS 5
    CvScalar color_tab[MAX_CLUSTERS];
    IplImage* img = cvCreateImage( cvSize( 500, 500 ), IPL_DEPTH_8U, 3 );
    CvRNG rng = cvRNG(cvGetTickCount());
    CvPoint ipt;
	
    color_tab[0] = CV_RGB(255,0,0);
    color_tab[1] = CV_RGB(0,255,0);
    color_tab[2] = CV_RGB(100,100,255);
    color_tab[3] = CV_RGB(255,0,255);
    color_tab[4] = CV_RGB(255,255,0);
	

    int i,k;
    int clusterNum = cvRandInt(&rng)%MAX_CLUSTERS + 2;	//至少有兩類
    int sampleNum = cvRandInt(&rng)%1000 + 100;			//至少100個點
    int feaNum=2;
    CvMat* sampleMat = cvCreateMat( sampleNum, 1, CV_32FC2 );
	
    /* generate random sample from multigaussian distribution */
	//產生高斯隨機數
    for( k = 0; k < clusterNum; k++ )
    {
        CvPoint center;
	int topIndex=k*sampleNum/clusterNum;
	int bottomIndex=(k == clusterNum - 1 ? sampleNum : (k+1)*sampleNum/clusterNum);

        CvMat* localMat=cvCreateMatHeader(bottomIndex-topIndex,1,CV_32FC2);
        center.x = cvRandInt(&rng)%img->width;
        center.y = cvRandInt(&rng)%img->height;
        cvGetRows( sampleMat, localMat, topIndex,bottomIndex, 1 );	//此函式不會給localMat分配空間,不包含bottomIndex
		
        cvRandArr( &rng, localMat, CV_RAND_NORMAL,
		cvScalar(center.x,center.y,0,0),
		cvScalar(img->width*0.1,img->height*0.1,0,0));
    }
	
	// shuffle samples 混亂資料
	for( i = 0; i < sampleNum/2; i++ )
	{
		CvPoint2D32f* pt1 = (CvPoint2D32f*)sampleMat->data.fl + cvRandInt(&rng)%sampleNum;
		CvPoint2D32f* pt2 = (CvPoint2D32f*)sampleMat->data.fl + cvRandInt(&rng)%sampleNum;
		CvPoint2D32f temp;
		CV_SWAP( *pt1, *pt2, temp );
	}

	float* pSamples=new float[sampleNum*feaNum];
	int* pClusters=new int[sampleNum];
	for (i=0;i<sampleNum;i++)
	{
		//feaNum=2
		pSamples[i*feaNum]=(cvGet2D(sampleMat,i,0)).val[0];
		pSamples[i*feaNum+1]=(cvGet2D(sampleMat,i,0)).val[1];
	}
	cvReleaseMat( &sampleMat );

	cvZero( img );
    for( i = 0; i < sampleNum; i++ )
    {
	//feaNum=2
        ipt.x = (int)(pSamples[i*feaNum]);
        ipt.y = (int)(pSamples[i*feaNum+1]);
        cvCircle( img, ipt, 1, cvScalar(255,255,255), CV_FILLED, CV_AA, 0 );
    }
	cvSaveImage("origin.jpg",img);

	myFCMeans(pSamples,pClusters,clusterNum,sampleNum,feaNum,2);

    cvZero( img );
    for( i = 0; i < sampleNum; i++ )
    {
		//feaNum=2
        int cluster_idx = pClusters[i];
        ipt.x = (int)(pSamples[i*feaNum]);
        ipt.y = (int)(pSamples[i*feaNum+1]);
        cvCircle( img, ipt, 1, color_tab[cluster_idx], CV_FILLED, CV_AA, 0 );
    }
	delete[] pClusters;
	pClusters=NULL;
	delete[] pSamples;
	pSamples=NULL;
	
	
	cvNamedWindow( "clusters");
    cvShowImage( "clusters", img );	
	cvWaitKey(0);
    cvDestroyWindow( "clusters" );
	cvSaveImage("clusters.jpg",img);

	cvReleaseImage(&img);
}
//FCM聚類，得到的結果從0開始計數
void myFCMeans(float* pSamples,int* pClusterResult,int clusterNum,int sampleNum,int featureNum,int m_Value)
{
	if (m_Value<=1 || clusterNum>sampleNum)
	{
		return;
	}

	int i,j,k;
	int int_temp;

	float* pUArr=NULL;	//隸屬度矩陣
	double* pDistances=NULL;	//距離矩陣
	float* pCenters=NULL;	//聚類中心

	int m=m_Value;			//引數
	int Iterationtimes;	//迭代次數
	int MaxIterationTimes=100;	//最大迭代次數
	double Epslion=0.001;			//聚類停止誤差
	double VarSum;	//平方誤差和
	double LastVarSum;	//上一次的平方誤差和

	

	//申請空間以及初始化
	pUArr=new float[sampleNum*clusterNum];
	pDistances=new double[sampleNum*clusterNum];
	pCenters=new float[clusterNum*featureNum];

	//初始化中心點
	srand((unsigned int)time(NULL));  
	int_temp=rand()%sampleNum;	
	for (i=0;i<clusterNum;i++)
	{
		for (j=0;j<featureNum;j++)
		{
			pCenters[i*featureNum+j]=pSamples[int_temp*featureNum+j];
		}
		
		int_temp+=(sampleNum/clusterNum);
		if (int_temp>=sampleNum)
		{
			int_temp%=sampleNum;
		}
	}
	//計算初始距離矩陣
	for (i=0;i<sampleNum;i++)
	{	
		for (k=0;k<clusterNum;k++)
		{
			double distance_temp=0;
			for (j=0;j<featureNum;j++)
			{
				distance_temp+=(double)((double)(pCenters[k*featureNum+j]-pSamples[i*featureNum+j])*(pCenters[k*featureNum+j]-pSamples[i*featureNum+j]));
			}
			pDistances[i*clusterNum+k]=distance_temp;
		}
	}


	//開始聚類
	Iterationtimes=0;
	LastVarSum=0;
	VarSum=0;
	while(1)
	{
		Iterationtimes++;
		
		//更新隸屬度矩陣
		//計算隸屬度，聚類矩陣已更新
		for (i=0;i<sampleNum;i++)
		{
			double denominator=0;	//(1/Dik^2)^(1/(m-1))
			bool isEqualCenter=false;	//是否有距離為0的情況
			int category_temp;		//如果有距離為0的情況所判別的類
			for (k=0;k<clusterNum;k++)
			{
				double currentDis=pDistances[i*clusterNum+k];
				if (currentDis!=0)
				{
					denominator+=pow(1.0/pDistances[i*clusterNum+k],1.0/(m-1));
				}
				else
				{
					isEqualCenter=true;
					category_temp=k;
					break;
				}
			}
			//如果有距離為0的情況，就把相應類的隸屬度置為1，其它為0
			if (true==isEqualCenter)
			{
				for(k=0;k<clusterNum;k++)
				{
					pUArr[i*clusterNum+k]=0;
				}
				pUArr[i*clusterNum+clusterNum]=1.0;
			}
			else
			{
				for (k=0;k<clusterNum;k++)
				{
					pUArr[i*clusterNum+k]=pow(1.0/pDistances[i*clusterNum+k],1.0/(m-1))/denominator;
				}
			}
		}

		//更新聚類中心
		for (k=0;k<clusterNum;k++)
		{
			double denominator=0;
			for (j=0;j<featureNum;j++)
			{
				double numerator=0;
				for (i=0;i<sampleNum;i++)
				{
					double U_m_temp=pow(pUArr[i*clusterNum+k],m_Value);
					if (0==j)
					{
						denominator+=U_m_temp;
					}
					numerator+=(U_m_temp*pSamples[i*featureNum+j]);
				}
				pCenters[k*featureNum+j]=numerator/denominator;
			}
		}

		//計算平方誤差函式值，並更新距離矩陣
		VarSum=0;
		for (i=0;i<sampleNum;i++)
		{
			for (k=0;k<clusterNum;k++)
			{
				double distance_temp=0;
				for (j=0;j<featureNum;j++)
				{
					distance_temp+=(double)((double)(pCenters[k*featureNum+j]-pSamples[i*featureNum+j])
						*(pCenters[k*featureNum+j]-pSamples[i*featureNum+j]));
				}
				pDistances[i*clusterNum+k]=distance_temp;
				VarSum+=(pow(pUArr[i*clusterNum+k],1.0/m)*distance_temp);		//存在溢位危險
			}
		}

		if (Iterationtimes>=MaxIterationTimes || fabsl(VarSum-LastVarSum)<=Epslion)
		{
			break;
		}
		LastVarSum=VarSum;
	}
	delete[] pDistances;
	pDistances=NULL;
	delete[] pCenters;
	pCenters=NULL;

	//分類,歸為隸屬度最大的那一類
	for (i=0;i<sampleNum;i++)
	{
		float maxU;		//最大隸屬度
		int Category;	//屬於類別
		for (k=0;k<clusterNum;k++)
		{
			if (0==k || maxU<pUArr[i*clusterNum+k])
			{
				Category=k;
				maxU=pUArr[i*clusterNum+k];
			}
		}
		pClusterResult[i]=Category;
	}

	delete[] pUArr;
	pUArr=NULL;

}

5. 結果

相關推薦

模糊C均值聚類以及C實現

1. 基本介紹     同K均值類似，FCM演算法也是一種基於劃分的聚類演算法，它的思想就是使得被劃分到同一簇的物件之間相似度最大，而不同簇之間的相似度最小。     模糊C均值是普通C均值聚類演算法的改進，普通C均值對資料進行硬性劃分，一個樣本一定明確的屬於某一類，FC

模糊C均值聚類演算法及實現

模糊C均值聚類演算法的實現 研究背景 https://blog.csdn.net/liu_xiao_cheng/article/details/50471981    聚類分析是多元統計分析的一種，也是無監督模式識別的一個重要分支，在模式分類 影象處理和模糊

模糊C均值聚類演算法的實現

 模糊C均值聚類演算法的實現 研究背景 聚類分析是多元統計分析的一種，也是無監督模式識別的一個重要分支，在模式分類 影象處理和模糊規則處理等眾多領域中獲得最廣泛的應用。它把一個沒有類別標記的樣本按照某種準則劃分為若干子集，使相似的樣本

機器學習演算法原理總結系列---演算法基礎之(13)模糊C均值聚類（Fuzzy C-means Clustering）

筆者在韓國Chonnam National University攻讀碩士學位，FCM演算法是professer Lim在這學期主要授課的內容，他說他剛發一篇FCM結合遺傳演算法還有各種腦電訊號處理，搭建分析AD病人的EEG訊號的計算智慧模型。反正就是各種難

FCM 模糊C均值聚類演算法

首先FCM在影象分割領域有很多應用，FCM演算法我覺得主要是兩個部分，一個是模糊理論，一個是C/Kmean演算法，這兩者在數學家手中完美的結合。 下面切入整體，我也是為了溫故才寫的這篇部落格，如有錯誤或者瑕疵的地方歡迎指出。話說有一個集合，甭管是啥，但是如果你是影象分割的話

模糊C均值聚類演算法

The Algorithm Fuzzy c-means (FCM) is a method of clustering which allows one piece of data to belong to two or more clusters. This method

模糊C均值聚類(FCM)演算法

本程式碼演算法用例為鳶尾花資料集合；IOSDATA演算法實現步驟，在很多資料和論壇中都有詳細的介紹，這裡就不對演算法步驟進行陳述了。就我程式碼中，我對下面幾個控制引數的理解：初始聚類數：初始類聚中心，跟聚類聚中心劃分簇。期望得到的聚類數：這個數並不是最終得到的類聚數目，可以理

機器學習-*-K均值聚類及程式碼實現

KMeans聚類 在聚類演算法中，最出名的應該就是k均值聚類(KMeans)了，幾乎所有的資料探勘/機器學習書籍都會介紹它，有些初學者還會將其與KNN等混淆。k均值是一種聚類演算法，屬於無監督學習的一種，而KNN是有監督學習/分類學習的一種。 聚類：顧名思義，就是講某些相似的事物聚在

機器學習-K均值聚類(python3程式碼實現)

K均值聚類 哈爾濱工程大學-537 演算法原理： K均值是發現給定資料集的kk個簇的演算法。簇個數kk是使用者給定的，每一個簇通過其質心(centroid)，即簇中所有點的中心來描述。 K均值演算法的工作流程是：首先隨機確定kk個初始點作為質心。然後

k-means(k均值聚類)演算法介紹及實現(c++)

基本介紹： k-means 演算法接受輸入量 k ；然後將n個數據物件劃分為 k個聚類以便使得所獲得的聚類滿足：同一聚類中的物件相似度較高；而不同聚類中的物件相似度較小。聚類相似度是利用各聚類中物件的均值所獲得一個“中心物件”（引力中心）來進行計算的。 工作過程： 　　k

動態聚類中 C－均值演算法 (K－均值演算法)的C++實現

一：說明 動態聚類方法是模式識別中一種普遍採用的方法，它具有以下3個要點： 1：選定某種距離度量作為樣本間的相似性度量 2：確定某個評價聚類結果質量的準則函式 3：給定某個初始分類，然後用迭代演算法找出使準則函式取極值的最好的聚類結果 本文給出了 C－均值演算法 的 C++實

K-menas聚類演算法C++實現

基本介紹： k-means 演算法接受輸入量 k ；然後將n個數據物件劃分為 k個聚類以便使得所獲得的聚類滿足：同一聚類中的物件相似度較高；而不同聚類中的物件相似度較小。聚類相似度是利用各聚類中物件的均值所獲得一個“中心物件”（引力中心）來進行計算的。 工作過程： 　　k-m

DBSCAN聚類演算法C++實現

1 #include "ClusterAnalysis.h" 2 #include <fstream> 3 #include <iosfwd> 4 #include <math.h> 5 6 /* 7 函式：聚類初始化操作 8 說明：將資

K均值聚類算法的MATLAB實現

均值 選擇 自己 eps 隨機生成 工具 images num step 1.K-均值聚類法的概述 之前在參加數學建模的過程中用到過這種聚類方法，但是當時只是簡單知道了在matlab中如何調用工具箱進行聚類，並不是特別清楚它的原理。最近因為在學模式識別，又重新接觸了這

K均值聚類的理解和實現

目錄 1. 距離的測度 1.1 歐式距離 1.2 馬氏距離 1.2.1 利用馬氏距離對資料進行歸一化 1.2.2 利用馬氏距離進行分類 2. K均值的基本理論 2.1 K均值的原理和實現 2.2 K均值的缺點 2.3 K均值改進 3. 演算法實現 3.1

C++中抽象類以及虛/純虛、解構函式的區別與介紹

一、虛擬函式 在某基類中宣告為 virtual 並在一個或多個派生類中被重新定義的成員函式，用法格式為：virtual+函式返回型別+ 函式名（引數表） {函式體}；實現多型性，通過指向派生類的基類指標或引用，訪問派生類中同名覆蓋成員函式。 二、純虛擬函式 純虛擬函式是一種

機器學習 K-means 聚類演算法 C++

筆記: 尚未解決的問題 :     1. 只支援二維,而不支援三維或更高,需要模板元     2. 尚未實現如何刪除極端點, 即預處理     3. 尚未視覺化 編譯環境 Ubuntu gcc 5.4 編譯選項  g++ -std=c++14 #include &l

Matlab實現K均值聚類

作為第一個部落格，我寫了一個簡單的K均值聚類演算法。過程大致如下： （1）從n個樣本中任意選擇（一般是隨機分配），k個作為初始聚類中心； （2）對於剩下的其它樣本點，根據它們與這些聚類中心的距離，分

k-means聚類演算法——c語言

程式程式碼： #include"stdio.h" #include"stdlib.h" #include<iostream> using namespace std; #define N 11 #define k 3 typedef struc

K-means均值聚類演算法的原理與實現

轉自：http://blog.csdn.net/xiaolewennofollow/article/details/45541159 K-均值聚類演算法的原理與實現 聚類是一種無監督的學習，它將相似的物件歸到同一個簇中，聚類方法幾乎可以應用於所有物件，簇內的物件越相似，聚類的效果越好，本文主要介紹K-均值聚