Lec 1 導論及優化問題 【Introduction and Optimization】

一、和6.0001的比較

1.程式設計任務相對簡單
-專注於問題的解決而不是純程式設計
2.課程內容更加抽象
3.課程節奏會更快
4.不僅是學習程式設計，而且是帶你進入資料科學的王國

How do you get to Carnegie Hall?
Practice Practice Practice

二、計算模型【Computational Models】

• 優化模型【optimization models】
• 統計模型【statistical models】
• 模擬模型【simulation models】

三、什麼是優化模型

• 為目標函式求最大或最小值
  eg：從紐約去波士頓的最短時間

• 需要遵循一系列的約束【constraints】（可能為空）
  eg：不能花超過100美元

四、揹包問題【knapsack problem】

1. 什麼是揹包問題？
   假想一個小偷進了一個房子，想要偷走儘可能價值高的東西，但是他的負重有限，小偷應該如何在屋裡的財物中選擇合適的。

2. 揹包問題的兩個變種

   • 0/1揹包問題
   • 部分揹包問題

   0/1揹包問題更加複雜，因為你做的每一個決定都將影響未來的決定。

3. 0/1揹包問題的形式化
   
   • Each item is represented by a pair, (value, weight)
   • The knapsack can accommodate items with a total weight of no more than w
   • A vector, L, of length n, represents the set of available items. Each element of the vector is an item
   • A vector, V， of length n, is uesd to indicate whether or not items are taken. If V[i]=1, item I[i]*is taken,If *V[i]=0, item *I[i]*is not taken.

Find a V that maximizes

1. 解決方法

   1. 暴力演算法

      • 列舉所有可能的專案排列，就是說，生成專案集合的所有子集，叫做 power set.
      • 去掉所有總重超過允許重量【weight】的組合
      • 從剩下的組合中選出【value】最大的那個

      實現暴力演算法通常是不現實的
      0/1揹包問題是指數級別的

   2. 貪心演算法是一個實際可行的方案【Greedy Algorithm】

while knapsack not full
    put "best" available item in knapsack

貪心演算法無法給我們一個最優解【best answer】，但可以給我們一個足夠好的解【really good answer】

        但是best意味著什麼？
        - Most valuable
        - Least expensive
        - Highest value / units
    #### the highest ratio of value to units

 **例項**
 - 你準備吃飯
 - 你知道自己對不同食物的喜愛程度
 - 但你有一份卡路里賬單，比如說你不希望攝取超過750卡路里
 - 選擇吃哪些東西就是一個揹包問題

Class Food

class Food（object）：
    def __init__(self, n, v, w):
        self.name = n
        self.value = v
        self.calories = w

    def getValue(self):
        return self.value
    def getCost(self):
        return self.calories
    def density(self):
        return self.getValue()/self.getCost()

    def __str__(self):
        return self.name + ': <' + str(self.value)\
                + ', ' + str(self.calories) + '>'

Build Menu of Foods

def buildMenu(names, values, calories)
"""names, values, calories lists of same length.
    name a list of strings
    values and calories lists of numbers
    returns list of Foods"""
    menu = []
    for i in range(len(values)):
        menu.append(Food(name[i], value[i], calories[i]))
    return menu

Implementation of Flexible Greedy

def greedy(items, maxCost, keyFunction):
    """Assume items a list, maxCost >= 0,
    keyFunction maps elements of items to numbers"""
    itemsCopy = sorted(items, key = keyFunction, reverse = True)
    result = []
    totalValue, totalCost = 0.0, 0.0

    for i in range(len(itemsCopy)):
        if (totalCost + itemsCopy[i].getCost()) <= maxCost:
            result.append(itemCopy[i])
            totalCost += itemsCopy[i].getCost()
            totalValue += itemsCopy[i].getValue()
    return (result, totalValue)

keyFunction : it will be used to sort the items
so ,maybe keyFunction will just return the value or maybe it will return the weight or maybe it will return some function of the density.
so I use keyFunction to define what I mean by best

Algorithmic Efficiency

Using greedy

def testGreedy(items, constraint, keyFunction):
    taken, val = greedy(items, constraint, keyFunction)
    print('Total value of items taken =', val)
    for item in taken :
    print('  ', item)

using greedy

Lambda

• lambda用於建立一個匿名函式
• 它可以非常的便利
• 可以寫出非常複雜的lambda expressions
• 不要用 def 來代替，除非函式內容真的非常多
• for one lines，lambda is great

using greedy

為什麼會得出不同的答案？

• choose the locally optional answer at every point
• greedy algorithm says never go backwards

貪心演算法的優點和缺點

• 容易寫

• 效率比較高

• 但是不能總是得到best solution，而且不知道有多麼近似