二項邏輯迴歸模型是如下的條件概率分佈：

其中x∈是輸入，y∈{0，1}是輸出。

為了方便，將權值向量和輸入向量進行擴充，此時w = ,x = ,迴歸模型表示如下：

引數w未知，採用統計學中的極大似然估計來由樣本估計引數w。對於0-1分佈x ~ B(1 , p)，x的概率密度函式可以表示為：

其中k = 0或1。

構造極大似然函式：

取對數得：

同理對於二項邏輯迴歸，我們令：

則其似然函式為：

其中yi取值為0或1。

取對數得：

求上式的最大值等價於對上式取負號後的最小值問題，得：

問題就轉換成了以對數似然函式為目標函式的最優化問題，對於該最優化問題常使用梯度下降法或擬牛頓法。

通常把邏輯迴歸問題的代價函式定義成以上形式，對數似然函式在y=0或是y=1其影象如下如所示

　　這樣可以保證代價函式是一個凸函式，使用梯度下降演算法時，可以得到全域性最優解。