ORM(Object Relational Mapping)
ORM的簡紹
物件關係對映(英語:(Object Relational Mapping,簡稱ORM,或O/RM,或O/R mapping),是一種程式技術,用於實現面向物件程式語言裡不同型別系統的資料之間的轉換 。
從效果上說,它其實是建立了一個可在程式語言裡使用的--"虛擬物件資料庫"。 面向物件是從軟體工程基本原則(如耦合、聚合、封裝)的基礎上發展起來的,而關係資料庫則是從數學理論發展而來的,兩套理論存在顯著的區別。
為了解決這個不匹配的現象,物件關係對映技術應運而生。 物件關係對映(Object-Relational Mapping)提供了概念性的、易於理解的模型化資料的方法。ORM方法論基於三個核心原則: 簡單:以最基本的形式建模資料。
傳達性:資料庫結構被任何人都能理解的語言文件化。
精確性:基於資料模型建立正確標準化的結構。
典型地,建模者通過收集來自那些熟悉應用程式但不熟練的資料建模者的人的資訊開發資訊模型。
建模者必須能夠用非技術企業專家可以理解的術語在概念層次上與資料結構進行通訊。建模者也必須能以簡單的單元分析資訊,對樣本資料進行處理。ORM專門被設計為改進這種聯絡。 簡單的說:ORM相當於中繼資料。具體到產品上,例如ADO.NET Entity Framework。DLINQ中實體類的屬性[Table]就算是一種中繼資料。
而我使用的主要是Django(今天簡紹django中的ORM)
在django中使用mysql
DATABASES = { "default": { "ENGINE": "django.db.backends.mysql", "NAME": "你的資料庫名稱", # 需要自己手動建立資料庫 "USER": "資料庫使用者名稱", "PASSWORD": "資料庫密碼", "HOST": "資料庫IP", "POST": 3306 } }
欄位:
AutoField(Field) - int自增列,必須填入引數 primary_key=True BigAutoField(AutoField) - bigint自增列,必須填入引數 primary_key=True 注:當model中如果沒有自增列,則自動會建立一個列名為id的列 from django.db import models class UserInfo(models.Model): # 自動建立一個列名為id的且為自增的整數列username = models.CharField(max_length=32) class Group(models.Model): # 自定義自增列 nid = models.AutoField(primary_key=True) name = models.CharField(max_length=32) SmallIntegerField(IntegerField): - 小整數 -32768 ~ 32767 PositiveSmallIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField) - 正小整數 0 ~ 32767 IntegerField(Field) - 整數列(有符號的) -2147483648 ~ 2147483647 PositiveIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField) - 正整數 0 ~ 2147483647 BigIntegerField(IntegerField): - 長整型(有符號的) -9223372036854775808 ~ 9223372036854775807 BooleanField(Field) - 布林值型別 NullBooleanField(Field): - 可以為空的布林值 CharField(Field) - 字元型別 - 必須提供max_length引數, max_length表示字元長度 TextField(Field) - 文字型別 EmailField(CharField): - 字串型別,Django Admin以及ModelForm中提供驗證機制 IPAddressField(Field) - 字串型別,Django Admin以及ModelForm中提供驗證 IPV4 機制 GenericIPAddressField(Field) - 字串型別,Django Admin以及ModelForm中提供驗證 Ipv4和Ipv6 - 引數: protocol,用於指定Ipv4或Ipv6, 'both',"ipv4","ipv6" unpack_ipv4, 如果指定為True,則輸入::ffff:192.0.2.1時候,可解析為192.0.2.1,開啟此功能,需要protocol="both" URLField(CharField) - 字串型別,Django Admin以及ModelForm中提供驗證 URL SlugField(CharField) - 字串型別,Django Admin以及ModelForm中提供驗證支援 字母、數字、下劃線、連線符(減號) CommaSeparatedIntegerField(CharField) - 字串型別,格式必須為逗號分割的數字 UUIDField(Field) - 字串型別,Django Admin以及ModelForm中提供對UUID格式的驗證 FilePathField(Field) - 字串,Django Admin以及ModelForm中提供讀取資料夾下檔案的功能 - 引數: path, 資料夾路徑 match=None, 正則匹配 recursive=False, 遞迴下面的資料夾 allow_files=True, 允許檔案 allow_folders=False, 允許資料夾 FileField(Field) - 字串,路徑儲存在資料庫,檔案上傳到指定目錄 - 引數: upload_to = "" 上傳檔案的儲存路徑 storage = None 儲存元件,預設django.core.files.storage.FileSystemStorage ImageField(FileField) - 字串,路徑儲存在資料庫,檔案上傳到指定目錄 - 引數: upload_to = "" 上傳檔案的儲存路徑 storage = None 儲存元件,預設django.core.files.storage.FileSystemStorage width_field=None, 上傳圖片的高度儲存的資料庫欄位名(字串) height_field=None 上傳圖片的寬度儲存的資料庫欄位名(字串) DateTimeField(DateField) - 日期+時間格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ] DateField(DateTimeCheckMixin, Field) - 日期格式 YYYY-MM-DD TimeField(DateTimeCheckMixin, Field) - 時間格式 HH:MM[:ss[.uuuuuu]] DurationField(Field) - 長整數,時間間隔,資料庫中按照bigint儲存,ORM中獲取的值為datetime.timedelta型別 FloatField(Field) - 浮點型 DecimalField(Field) - 10進位制小數 - 引數: max_digits,小數總長度 decimal_places,小數位長度 BinaryField(Field) - 二進位制型別 欄位合集
欄位引數:
null
用於表示某個欄位可以為空。
unique
如果設定為unique=True 則該欄位在此表中必須是唯一的 。
db_index
如果db_index=True,則代表這個欄位設定資料庫索引
default
設定預設值
auto_now_add auto_now 時間欄位獨有
配置auto_now_add=True,建立資料記錄的時候會把當前時間新增到資料庫。
配置上auto_now=True,每次更新資料記錄的時候會更新該欄位。
blank
如果為True,該欄位允許不填,預設值為False要注意,
這與 null 不同。null純粹是資料庫範疇的,而 blank 是資料驗證範疇的。
如果一個欄位的blank=True,表單的驗證將允許該欄位是空值。如果欄位的blank=False,該欄位就是必填的。
choices
由二元組組成的一個可迭代物件(例如,列表或元組),用來給欄位提供選擇項。 如果設定了choices ,
預設的表單將是一個選擇框而不是標準的文字框,而且這個選擇框的選項就是choices 中的選項。
這是一個關於 choices 列表的例子: YEAR_IN_SCHOOL_CHOICES = ( ('FR', 'Freshman'), ('SO', 'Sophomore'), ('JR', 'Junior'), ('SR', 'Senior'), ('GR', 'Graduate'), ) 每個元組中的第一個元素,是儲存在資料庫中的值;第二個元素是在管理介面或 ModelChoiceField 中用作顯示的內容。 在一個給定的 model 類的例項中,想得到某個 choices 欄位的顯示值,就呼叫 get_FOO_display 方法(這裡的 FOO 就是 choices 欄位的名稱 )。例如: from django.db import models class Person(models.Model): SHIRT_SIZES = ( ('S', 'Small'), ('M', 'Medium'), ('L', 'Large'), ) name = models.CharField(max_length=60) shirt_size = models.CharField(max_length=1, choices=SHIRT_SIZES) >>> p = Person(name="Fred Flintstone", shirt_size="L") >>> p.save() >>> p.shirt_size 'L' >>> p.get_shirt_size_display() 'Large'
我們建立個表來具體說明:
class Author(models.Model): nid = models.AutoField(primary_key=True) name=models.CharField( max_length=32) age=models.IntegerField() # 與AuthorDetail建立一對一的關係 authorDetail=models.OneToOneField(to="AuthorDetail") class AuthorDetail(models.Model): nid = models.AutoField(primary_key=True) birthday=models.DateField() telephone=models.BigIntegerField() addr=models.CharField( max_length=64) class Publish(models.Model): nid = models.AutoField(primary_key=True) name=models.CharField( max_length=32) city=models.CharField( max_length=32) email=models.EmailField() class Book(models.Model): nid = models.AutoField(primary_key=True) title = models.CharField( max_length=32) publishDate=models.DateField() price=models.DecimalField(max_digits=5,decimal_places=2) keepNum=models.IntegerField()<br> commentNum=models.IntegerField() # 與Publish建立一對多的關係,外來鍵欄位建立在多的一方 publish=models.ForeignKey(to="Publish",to_field="nid") # 與Author表建立多對多的關係,ManyToManyField可以建在兩個模型中的任意一個,自動建立第三張表 authors=models.ManyToManyField(to='Author')
注意事項:
1、 表的名稱myapp_modelName
,是根據 模型中的元資料自動生成的,也可以覆寫為別的名稱
2、id
欄位是自動新增的
3、對於外來鍵欄位,Django 會在欄位名上新增"_id" 來建立資料庫中的列名
4、每個欄位有一些特有的引數,例如,CharField需要max_length引數來指定VARCHAR
資料庫欄位的大小。
5、django1.幾版本來著和2點幾版本的不同:必須指明 on_delete 這個屬性 不然會報錯
新增表記錄
方式1 publish_obj=Publish(name="人民出版社",city="北京",email="[email protected]") publish_obj.save() # 將資料儲存到資料庫 方式2 <br>返回值publish_obj是新增的記錄物件 publish_obj=Publish.objects.create(name="人民出版社",city="北京",email="[email protected]")<br><br>方式3<br>表.objects.create(**request.POST.dict())
Django 裡ORM的相關操作
all(): 查詢所有結果 filter(**kwargs): 它包含了與所給篩選條件相匹配的物件 get(**kwargs): 返回與所給篩選條件相匹配的物件,返回結果有且只有一個,如果符合篩選條件的物件超過一個或者沒有都會丟擲錯誤。 exclude(**kwargs): 它包含了與所給篩選條件不匹配的物件 values(*field): 返回一個ValueQuerySet——一個特殊的QuerySet,執行後得到的並不是一系列model的例項化物件,而是一個可迭代的字典序列 values_list(*field): 它與values()非常相似,它返回的是一個元組序列,values返回的是一個字典序列 order_by(*field): 對查詢結果排序 reverse(): 對查詢結果反向排序,請注意reverse()通常只能在具有已定義順序的QuerySet上呼叫(在model類的Meta中指定ordering或呼叫order_by()方法)。 distinct(): 從返回結果中剔除重複紀錄(如果你查詢跨越多個表,可能在計算QuerySet時得到重複的結果。此時可以使用distinct(),注意只有在PostgreSQL中支援按欄位去重。) count(): 返回資料庫中匹配查詢(QuerySet)的物件數量。 first(): 返回第一條記錄 last(): 返回最後一條記錄 exists(): 如果QuerySet包含資料,就返回True,否則返回False
注意:一定區分object與querySet的區別 !!!
返回QuerySet物件的方法有
all() filter() exclude() order_by() reverse() distinct()
特殊的QuerySet
values() 返回一個可迭代的字典序列
values_list() 返回一個可迭代的元祖序列
雙下劃線的方法(判斷)
models.Tb1.objects.filter(id__lt=10, id__gt=1) # 獲取id大於1 且 小於10的值 models.Tb1.objects.filter(id__in=[11, 22, 33]) # 獲取id等於11、22、33的資料 models.Tb1.objects.exclude(id__in=[11, 22, 33]) # not in models.Tb1.objects.filter(name__contains="ven") # 獲取name欄位包含"ven"的 models.Tb1.objects.filter(name__icontains="ven") # icontains大小寫不敏感 models.Tb1.objects.filter(id__range=[1, 3]) # id範圍是1到3的,等價於SQL的bettwen and 類似的還有:startswith,istartswith, endswith, iendswith date欄位還可以: models.Class.objects.filter(first_day__year=2017)
重點在表查詢
基於物件的跨表查詢
正向查詢(按欄位:publish):
# 查詢nid=1的書籍的出版社所在的城市<br> book_obj=Book.objects.get(nid=1)
print(book_obj.publish.city) # book_obj.publish 是nid=1的書籍物件關聯的出版社物件
反向查詢(按表名:book_set):
# 查詢 人民出版社出版過的所有書籍 publish=Publish.objects.get(name="人民出版社") book_list=publish.book_set.all() # 與人民出版社關聯的所有書籍物件集合 for book_obj in book_list: print(book_obj.title)
一對一查詢(Author 與 AuthorDetail)
正向查詢(按欄位:authorDetail):
# 查詢egon作者的手機號 author_egon=Author.objects.get(name="egon") print(author_egon.authorDetail.telephone)
反向查詢(按表名:author):
# 查詢所有住址在北京的作者的姓名 authorDetail_list=AuthorDetail.objects.filter(addr="beijing") for obj in authorDetail_list: print(obj.author.name)
多對多查詢 (Author 與 Book)
正向查詢(按欄位:authors):
# 金瓶眉所有作者的名字以及手機號 book_obj=Book.objects.filter(title="金瓶眉").first() authors=book_obj.authors.all() for author_obj in authors: print(author_obj.name,author_obj.authorDetail.telephone)
反向查詢(按表名:book_set):
# 查詢egon出過的所有書籍的名字 author_obj=Author.objects.get(name="egon") book_list=author_obj.book_set.all() #與egon作者相關的所有書籍 for book_obj in book_list: print(book_obj.title)
注意:
你可以通過在 ForeignKey() 和ManyToManyField的定義中設定 related_name 的值來覆寫 FOO_set 的名稱。
例如,如果 Article model 中做一下更改: publish = ForeignKey(Blog, related_name='bookList'),那麼接下來就會如我們看到這般:
# 查詢 人民出版社出版過的所有書籍 publish=Publish.objects.get(name="人民出版社") book_list=publish.bookList.all() # 與人民出版社關聯的所有書籍物件集合
聚合查詢和分組查詢
聚合
aggregate()是QuerySet 的一個終止子句,意思是說,它返回一個包含一些鍵值對的字典。
鍵的名稱是聚合值的識別符號,值是計算出來的聚合值。鍵的名稱是按照欄位和聚合函式的名稱自動生成出來的。
用到的內建函式:
from django.db.models import Avg, Sum, Max, Min, Count
示例:
>>> from django.db.models import Avg, Sum, Max, Min, Count
>>> models.Book.objects.all().aggregate(Avg("price")) {'price__avg': 13.233333}
如果你想要為聚合值指定一個名稱,可以向聚合子句提供它。
>>> models.Book.objects.aggregate(average_price=Avg('price'))
{'average_price': 13.233333}
如果你希望生成不止一個聚合,你可以向aggregate()子句中新增另一個引數。所以,如果你也想知道所有圖書價格的最大值和最小值,可以這樣查詢:
>>> models.Book.objects.all().aggregate(Avg("price"), Max("price"), Min("price"))
{'price__avg': 13.233333, 'price__max': Decimal('19.90'), 'price__min': Decimal('9.90')}
分組
我們在這裡先複習一下SQL語句的分組。
假設現在有一張公司職員表:
我們使用原生SQL語句,按照部分分組求平均工資:
select dept,AVG(salary) from employee group by dept;
ORM查詢:
from django.db.models import Avg Employee.objects.values("dept").annotate(avg=Avg("salary").values(dept, "avg")
連表查詢的分組:
SQL查詢:
select dept.name,AVG(salary) from employee inner join dept on (employee.dept_id=dept.id) group by dept_id;
ORM查詢:
from django.db.models import Avg models.Dept.objects.annotate(avg=Avg("employee__salary")).values("name", "avg")
更多示例:
示例1:統計每一本書的作者個數
>>> book_list = models.Book.objects.all().annotate(author_num=Count("author"))
>>> for obj in book_list:
... print(obj.author_num)
...
2
1
1
示例2:統計出每個出版社買的最便宜的書的價格
>>> publisher_list = models.Publisher.objects.annotate(min_price=Min("book__price"))
>>> for obj in publisher_list:
... print(obj.min_price)
...
9.90
19.90
方法二:
>>> models.Book.objects.values("publisher__name").annotate(min_price=Min("price"))
<QuerySet [{'publisher__name': '沙河出版社', 'min_price': Decimal('9.90')}, {'publisher__name': '人民出版社', 'min_price': Decimal('19.90')}]>
示例3:統計不止一個作者的圖書
>>> models.Book.objects.annotate(author_num=Count("author")).filter(author_num__gt=1)
<QuerySet [<Book: 番茄物語>]>
示例4:根據一本圖書作者數量的多少對查詢集 QuerySet進行排序
>>> models.Book.objects.annotate(author_num=Count("author")).order_by("author_num")
<QuerySet [<Book: 香蕉物語>, <Book: 橘子物語>, <Book: 番茄物語>]>
示例5:查詢各個作者出的書的總價格
>>> models.Author.objects.annotate(sum_price=Sum("book__price")).values("name", "sum_price")
<QuerySet [{'name': '小精靈', 'sum_price': Decimal('9.90')}, {'name': '小仙女', 'sum_price': Decimal('29.80')}, {'name': '小魔女', 'sum_price': Decimal('9.90')}]>
F查詢和Q查詢
F查詢
在上面所有的例子中,我們構造的過濾器都只是將欄位值與某個常量做比較。如果我們要對兩個欄位的值做比較,那該怎麼做呢?
Django 提供 F() 來做這樣的比較。F() 的例項可以在查詢中引用欄位,來比較同一個 model 例項中兩個不同欄位的值。
示例1:
查詢評論數大於收藏數的書籍
from django.db.models import F
models.Book.objects.filter(commnet_num__gt=F('keep_num'))
Django 支援 F() 物件之間以及 F() 物件和常數之間的加減乘除和取模的操作。
models.Book.objects.filter(commnet_num__lt=F('keep_num')*2)
修改操作也可以使用F函式,比如將每一本書的價格提高30元
models.Book.objects.all().update(price=F("price")+30)
引申:
如果要修改char欄位咋辦?
如:把所有書名後面加上(第一版)
>>> from django.db.models.functions import Concat
>>> from django.db.models import Value
>>> models.Book.objects.all().update(title=Concat(F("title"), Value("("), Value("第一版"), Value(")")))
Q查詢
filter() 等方法中的關鍵字引數查詢都是一起進行“AND” 的。 如果你需要執行更復雜的查詢(例如OR語句),你可以使用Q物件。
示例1:
查詢作者名是小仙女或小魔女的
models.Book.objects.filter(Q(authors__name="小仙女")|Q(authors__name="小魔女"))
你可以組合& 和| 操作符以及使用括號進行分組來編寫任意複雜的Q 物件。同時,Q 物件可以使用~ 操作符取反,這允許組合正常的查詢和取反(NOT) 查詢。
示例:查詢作者名字是小仙女並且不是2018年出版的書的書名。
>>> models.Book.objects.filter(Q(author__name="小仙女") & ~Q(publish_date__year=2018)).values_list("title")
<QuerySet [('番茄物語',)]>
查詢函式可以混合使用Q 物件和關鍵字引數。所有提供給查詢函式的引數(關鍵字引數或Q 物件)都將"AND”在一起。但是,如果出現Q 物件,它必須位於所有關鍵字引數的前面。
例如:查詢出版年份是2017或2018,書名中帶物語的所有書。
>>> models.Book.objects.filter(Q(publish_date__year=2018) | Q(publish_date__year=2017), title__icontains="物語")
<QuerySet [<Book: 番茄物語>, <Book: 香蕉物語>, <Book: 橘子物語>]>