PHIẾU NHẬN XÉT CỦA ĐƠN VỊ THỰC TẬP

 53341184785 TR??NG ??I H?C C?NG NGH? TH?NG TIN V? TRUY?N TH?NG VI?T - H?N KHOA KHOA H?C M?Y T?NHB?O C?OTH?C T?P DOANH NGHI?P DNIIT?? T?I: T?M HI?U V? MACHINE LEARNING, AUTOML ?P D?NG V?O B?I TO?N CLASSIFICATION Sinh viên th?c hi?n : N?ng Th? H?ngL?p : 18IT5Gi?ng viên h??ng d?n: ThS.Tr?n Uyên Trang??n v? th?c t?p : DNIITNg??i h??ng d?n : ThS. Nguy?n Thanh Tu?n?à N?ng, tháng … n?m…PHI?U NH?N X?T C?A ??N V? TH?C T?PL?I C?M ?NTr??c tiên v?i tình c?m s?u s?c và ch?n thành nh?t, cho phép em ???c bày t? lòng bi?t ?n ??n t?t c? các cá nh?n và t? ch?c ?? t?o ?i?u ki?n h? tr?, giúp ?? em trong su?t quá trình h?c t?p và nghiên c?u ?? tài này. Trong su?t th?i gian t? khi b?t ??u h?c t?p t?i doanh nghi?p, em ?? nh?n ???c r?t nhi?u s? quan t?m, giúp ?? c?a qu? Th?y C? và b?n bè.V?i lòng bi?t ?n s?u s?c nh?t, em xin g?i ??n qu? Th?y C? ? Khoa C?ng ngh? th?ng tin và truy?n th?ng Vi?t Hàn. ?? truy?n ??t v?n ki?n th?c qu? báu cho chúng em trong su?t th?i gian h?c t?p t?i doanh nghi?p. Nh? có nh?ng l?i h??ng d?n, d?y b?o c?a các th?y c? nên ?? tài nghiên c?u c?a em m?i có th? hoàn thi?n t?t ??p.M?t l?n n?a, em xin ch?n thành c?m ?n th?y/c? – ng??i ?? tr?c ti?p giúp ??, quan t?m, h??ng d?n em hoàn thành t?t bài báo cáo này trong th?i gian qua.Bài báo cáo th?c t?p th?c hi?n trong kho?ng th?i gian g?n 8 tu?n. B??c ??u ?i vào th?c t? c?a em còn h?n ch? và còn nhi?u b? ng? nên kh?ng tránh kh?i nh?ng thi?u sót, em r?t mong nh?n ???c nh?ng ? ki?n ?óng góp qu? báu c?a qu? Th?y C? ?? ki?n th?c c?a em trong l?nh v?c này ???c hoàn thi?n h?n ??ng th?i có ?i?u ki?n b? sung, n?ng cao ? th?c c?a mình.Em xin ch?n thành c?m ?n!M?C L?C TOC \h \u \z PHI?U NH?N X?T C?A ??N V? TH?C T?P2L?I C?M ?N3M?C L?C4M?C L?C H?NH ?NH6PH?N M? ??U7CH??NG I: GI?I THI?U V? DNIIT81. C? quan th?c t?p82. Gi?i thi?u chung83. M?c tiêu ho?t ??ng84. T? ch?c ho?t ??ng95. Ho?t ??ng nghiên c?u khoa h?c c?a vi?n c?ng ngh? qu?c t? Dniit9CH??NG II: C? S? L? THUY?T AUTOML V? MACHINE LEARNING112.1 C? S? L? THUY?T AUTOML112.1.1 AutoML L? G??112.1.2 T?i sao s? d?ng AutoML và nó giúp ích nh? th? nào?122.1.3 Các thành ph?n c?t l?i c?a h? th?ng AutoML122.1.4 T?ng quan v? th? vi?n AutoML142.2 MACHINE LEARNING152.2.1 Machine Learning là gì:152.2.2 Các lo?i Machine Learning152.2.3 Các ch? ?? v? Machine Learning16Hình 2.3.3 T?i ?u hóa trong Machine learning172.2.4 Làm th? nào ?? có nh?ng h? th?ng machine learning t?t?172.2.5 Ph?n lo?i thu?t toán machine learning c? b?n172.2.6 L?u ? quan tr?ng trong Machine learning18Hình 2.2.6 S? ?? l?a ch?n thu?t toán phù h?p182.2.7 S? phát tri?n m?nh m? c?a Machine Learning212.2.8 Nh?ng ??i t??ng nào ?ang xài Machine Learning?22CH??NG III: ?P D?NG AUTOML V?O B?I TO?N IRIS CLASSIFICATION243.1 ?p d?ng máy h?c t? ??ng (AutoML)24Hình 3.1.1 Ho?t ??ng c?a AutoML24Hình 3.1.2: M? hình AutoML253.2 X?y d?ng bài toán Iris classification263.2.1 Gi?i thi?u v? hoa Iris263.2.2 ??nh ngh?a bài toán Iris classification273.2.3 Th?c hi?n tri?n khai bài toán28Hình 3.2.1 Cài ??t Docker29Hình 3.2.2 Th? m?c và t?p c?a bài toán ??t ra29Hình 3.2.3 T?o và l?y d? li?u các bi?n x30Hình 3.2.4 Các bi?n y30Hình 3.2.5 K?t qu? ch?y AutoML32Hình 3.2.6 Ph?n lo?i xác su?t33Hình 3.2.7 Hình ma tr?n confusion33Hình 3.2.8 ?? thi ma nh?p v?i d? li?u ma tr?n m?c tiêu và d? ?oán34K?T LU?N35T?ng k?t35K?t lu?n35T?I LI?U THAM KH?O36M?C L?C H?NH ?NH TOC \h \u \z Hình 2.3.3 T?i ?u hóa trong Machine learning HYPERLINK \l "_heading=h.2p2csry" 18Hình 2.2.6 S? ?? l?a ch?n thu?t toán phù h?p HYPERLINK \l "_heading=h.1hmsyys" 20Hình 3.1.1 Ho?t ??ng c?a AutoML HYPERLINK \l "_heading=h.1v1yuxt" 25Hình 3.1.2: M? hình AutoML HYPERLINK \l "_heading=h.4f1mdlm" 26Hình 3.2.1 Cài ??t Docker HYPERLINK \l "_heading=h.nmf14n" 30Hình 3.2.2 Th? m?c và t?p c?a bài toán ??t ra HYPERLINK \l "_heading=h.37m2jsg" 30Hình 3.2.3 T?o và l?y d? li?u các bi?n x HYPERLINK \l "_heading=h.1mrcu09" 31Hình 3.2.4 Các bi?n y HYPERLINK \l "_heading=h.46r0co2" 31Hình 3.2.5 K?t qu? ch?y AutoML HYPERLINK \l "_heading=h.2lwamvv" 33Hình 3.2.6 Ph?n lo?i xác su?t HYPERLINK \l "_heading=h.111kx3o" 34Hình 3.2.7 Hình ma tr?n confusion HYPERLINK \l "_heading=h.3l18frh" 34Hình 3.2.8 ?? thi ma nh?p v?i d? li?u ma tr?n m?c tiêu và d? ?oán HYPERLINK \l "_heading=h.206ipza" 35 PH?N M? ??UTh?p k? v?a qua ?? ch?ng ki?n ??s? bùng n? c?a nghiên c?u và ?ng d?ng Machine Learning; ??c bi?t là các ph??ng pháp h?c s?u ?? t?o ra nh?ng ti?n b? quan tr?ng trong nhi?u mi?n ?ng d?ng, ch?ng h?n nh? th? giác máy tính và x? l? gi?ng nói. Tuy nhiên, hi?u su?t c?a nhi?u ph??ng pháp h?c máy r?t nh?y c?m v?i nhi?u quy?t ??nh thi?t k?, ?i?u này t?o thành m?t thành ph?n cho ng??i dùng m?i. ?i?u này ??c bi?t ?úng trong l?nh v?c h?c s?u ?ang bùng n?, n?i mà các k? s? con ng??i c?n ch?n ?úng ki?n ??trúc th?n kinh, ?ào t?o th? t?c, ph??ng pháp chính quy hóa và siêu tham s? c?a t?t c? nh?ng ?? làm cho m?ng c?a h? th?c hi?n nh?ng gì h? ph?i làm v?i hi?u su?t v?a ??. Quá trình này ph?i ???c l?p l?i cho m?i ?ng d?ng. Ngay c? các chuyên gia c?ng th??ng b? b? l?i v?i nh?ng giai ?o?n th? và sai t? nh?t cho ??n khi h? xác ??nh m?t t?p h?p các l?a ch?n t?t cho m?t t?p d? li?u c? th?.L?nh v?c máy h?c t? ??ng (AutoML) nh?m m?c ?ích làm cho nh?ng quy?t ??nh theo h??ng d? li?u, khách quan và t? ??ng: Ng??i dùng ch? c?n vi?t d? li?u và h? th?ng t? ??ng xác ??nh cách ti?p c?n ho?t ??ng t?t nh?t cho ?ng d?ng c? th? này. Do ?ó, AutoML làm cho tr?ng thái - các ph??ng pháp ti?p c?n Machine Learning hi?n ??i có th? truy c?p ???c cho các nhà khoa h?c mi?n quan t?m ??n vi?c áp d?ng Machine Learning nh?ng kh?ng có tài nguyên ?? h?c v? các c?ng ngh? ??ng sau nó m?t cách chi ti?t. ??y có th? ???c coi là m?t n?n d?n ch?- Machine Learning: v?i AutoML, máy hi?n ??i ???c tùy ch?nh vi?c h?c trong t?m tay c?a m?i ng??i. Các ph??ng pháp AutoML ?? ?? tr??ng thành ?? c?nh tranh và th?m chí ??i khi v??t tr?i h?n các chuyên gia Machine Learning c?a con ng??i. ??t ??n gi?n, AutoML có th? d?n ??n c?i thi?n hi?u su?t trong khi ti?t ki?m ?áng k? th?i gian và ti?n b?c.Cùng v?i s? phát tri?n c?a AutoML nên em ch?n ?? tài “Tìm hi?u v? Machine Learning áp d?ng vào bài toán Iris classification “?? làm báo cáo th?c t?p v?i các ph?m vi nghiên v? AutoML, cách s? d?ng và t?ng quan th? viên c?a AutoMLCH??NG I: GI?I THI?U V? DNIIT1. C? quan th?c t?pTên c? quan: VI?N C?NG NGH? QU?C T? ?? N?NG - DNIIT??a ch?: Phòng 602-604, Khu B, ??i h?c ?à N?ng, 41 Lê Du?n, ?à N?ngEmail: contact@dniit.udn.vnWebsite: . Gi?i thi?u chungVi?n C?ng Ngh? Qu?c t? ?à N?ng - DNIIT?thu?c ??i h?c ?à N?ng ???c thành l?p và ho?t ??ng theo?Quy?t ??nh s? 1551/Q?-?H?N ngày 05 tháng 05 n?m 2017?c?a Giám ??c ??i H?c ?à N?ng. M?c ?ích thành l?p Vi?n là nh?m ?áp ?ng yêu c?u h?p tác khoa h?c, ?ào t?o sau ??i h?c và chuy?n giao c?ng ngh??c?a ??i h?c ?à N?ng, v?i các ??i h?c và T? ch?c qu?c t? có uy tín, d?a trên th?a thu?n h?p tác ngày 18 tháng 3 n?m 2017 gi?a ba thành viên sáng l?p: ??i H?c ?à N?ng (sau ??y g?i là ?H?N), T? ch?c ??i h?c Pháp ng? AUF (Agence Universitaire de la Francophonie) và ??i h?c Nice-Sophia Antipolis thành viên c?a Comue Université C?te d’Azur (sau ??y g?i là UNS-UCA).3. M?c tiêu ho?t ??ngVi?n có nhi?m v? phát tri?n nghiên c?u khoa h?c ?a ngành, ?ào t?o sau ??i h?c, chuy?n giao c?ng ngh?, ph? bi?n th?ng tin khoa h?c và sáng t?o d?a trên m? hình tích h?p n?ng l?c gi?a các ??i h?c l?n th?ng qua vi?c h?p tác qu?c t? trong l?nh v?c ?ào t?o và nghiên c?u khoa h?c, ??c bi?t v?i ??i h?c Nice-Sophia Antipolis (UNS-UCA) và v?i kh?i ??i h?c Pháp ng? AUF là hai ??i tác qu?c t? tham gia sáng l?p Vi?n cùng ?H?N. Các nhi?m v? c? th? là:T? ch?c h?p tác nghiên c?u, sáng ch?, h?i th?o, c?ng b? khoa h?c có tính liên ngành gi?a các c? s? giáo d?c ??i h?c thành viên, các ??n v? tr?c thu?c ??i h?c ?à N?ng và các ??i tác trong và ngoài n??c và các ??i tác trong kh?i c?ng ??ng ??i h?c Pháp ng?.Qu?n l? và t? ch?c ?ào t?o các ch??ng trình h?p tác ?ào t?o sau ??i h?c gi?a ??i h?c ?à N?ng, UNS-UCA và các ??i h?c Qu?c t?, nh?n b?ng qu?c t? hay b?ng kép; ??m b?o ch?t l??ng giáo d?c ??i h?c theo các tiêu chu?n qu?c t?.T? ch?c b?i d??ng nghi?p v? ng?n h?n, thi sáng t?o, v?i ch?ng ch? c?a các t? ch?c khoa h?c c?ng ngh? qu?c gia và qu?c t?;T? ch?c kho l?u tr? th?ng tin khoa h?c ?i?n t? trên m?ng l?u tr? ?i?n t? m? qu?c t? HAL cho ??i ng? cán b? nghiên c?u và gi?ng d?y ??i h?c ?à N?ng.T? ch?c các ho?t ??ng chuy?n giao khoa h?c c?ng ngh? và th?c hi?n các d?ch v? khoa h?c c?ng ngh? d??i các hình th?c t? ch?c truy?n th?ng th?ng tin khoa h?c trong c?ng ??ng, kh?i nghi?p và th??ng m?i hóa các s?n ph?m nghiên c?u và gi?ng d?y.4. T? ch?c ho?t ??ngXét v? m?t c? c?u t? ch?c, DNIIT ?i vào ho?t ??ng g?m 3 thành ph?n chính là:Trung t?m nghiên c?u và chuy?n giao c?ng ngh? MIRE Trung t?m qu?n l? ?ào t?o, th?ng tin khoa h?c c?ng ngh? NiceCAMPUS Trung t?m K? thu?t s? Pháp ng? CNFp (Campus Numérique Francophone partenaire).5. Ho?t ??ng nghiên c?u khoa h?c c?a vi?n c?ng ngh? qu?c t? DniitM?t trong các nhi?m v? tr?ng t?m c?a Vi?n DNIIT là t?ng c??ng trao ??i h?c thu?t gi?a các gi?ng viên, nghiên c?u viên, h?c viên,?x?y d?ng các ?? án nghiên c?u ?ng d?ng liên ngành có giá tr? th?c ti?n cho kinh t? - x? h?i c?a Vi?t Nam d?a trên s? h?p tác gi?a các c? s? nghiên c?u ??i h?c c?a Vi?t Nam và th? gi?i. ??c bi?t, chúng t?i quan t?m t?i vi?c thúc ??y h?p tác trong l?nh v?c qu?n l? ??a ph??ng (territory management) và thi?t l?p h? sinh thái ??i m?i sáng t?o trong các c? s? ?ào t?o và nghiên c?u ??i h?c (innovation university ecosystem) ti?n t?i x?y d?ng m? hình các h? th?ng qu?n l? th?ng minh d?a trên các ?ng d?ng c?a nh?ng c?ng ngh? m?i: m?ch quang ph? ?i?n t? nhúng, th? gi?i v?n v?t, thu?t toán máy h?c, trí tu? nh?n t?o,... Các ??i h?c Pháp nói chung và ??i h?c vùng C?te d’Azur (UCA) nói riêng có m?t s? kinh nghi?m trong các l?nh v?c này. T? nhi?u n?m nay, Tr??ng ??i h?c Nice-Sophia Antipolis, thành viên lu?n thu?c Top 450-500 các tr??ng ??i h?c hàng ??u th? gi?i theo x?p h?ng c?a “The Shanghai World University Rankings”.CH??NG II: C? S? L? THUY?T AUTOML V? MACHINE LEARNING 2.1 C? S? L? THUY?T AUTOML2.1.1 AutoML L? G??AutoML nh?m m?c ?ích d? dàng quá trình x?y d?ng m? hình ML b?ng cách t? ??ng hóa các b??c th??ng ???c s? d?ng, ch?ng h?n nh? ti?n x? l? tính n?ng, l?a ch?n m? hình và ?i?u ch?nh siêu tham s?. Các thu?t toán ML s? ho?t ??ng trên d? li?u c?a Chúng ta ?? tìm ra các m?u nh?t ??nh và quá trình h?c này ???c g?i là ?ào t?o m? hình. K?t qu? c?a vi?c ?ào t?o m? hình, Chúng ta s? có m?t m? hình ML ???c cho là s? cung c?p cho Chúng ta th?ng tin chi ti?t / c?u tr? l?i v? d? li?u mà kh?ng yêu c?u Chúng ta vi?t các quy t?c r? ràng.Khi Chúng ta ?ang s? d?ng các m? hình ML trong th?c t?, Chúng ta s? ném m?t lo?t d? li?u s? làm ??u vào ?? ?ào t?o thu?t toán. ??u ra c?a quá trình ?ào t?o là m?t m? hình ML mà Chúng ta có th? s? d?ng ?? ??a ra d? ?oán. Các d? ?oán có th? giúp Chúng ta quy?t ??nh xem máy ch? c?a Chúng ta có nên ???c b?o trì trong b?n gi? t?i hay kh?ng d?a trên tr?ng thái hi?n t?i c?a nó ho?c li?u khách hàng c?a Chúng ta có chuy?n sang ??i th? c?nh tranh c?a Chúng ta hay kh?ng.??i khi v?n ?? Chúng ta ?ang gi?i quy?t s? kh?ng ???c xác ??nh r? ràng và Chúng ta th?m chí s? kh?ng bi?t lo?i c?u tr? l?i mà Chúng ta ?ang tìm ki?m. Trong nh?ng tr??ng h?p nh? v?y, m? hình ML s? giúp Chúng ta khám phá t?p d? li?u c?a mình, ch?ng h?n nh? xác ??nh m?t nhóm khách hàng gi?ng nhau v? hành vi ho?c tìm ra c?u trúc ph?n c?p c?a c? phi?u d?a trên m?i t??ng quan c?a chúng.V?y thì AutoML là gì? Khi nói v? AutoML, chúng ta ch? y?u ?? c?p ??n vi?c chu?n b? d? li?u t? ??ng (c? th? là ti?n x? l?, t?o và l?a ch?n tính n?ng) và ?ào t?o m? hình (l?a ch?n m? hình và t?i ?u hóa siêu tham s?). S? l??ng các tùy ch?n kh? thi cho m?i b??c c?a quy trình này có th? khác nhau r?t nhi?u tùy thu?c vào lo?i v?n ??.AutoML cho phép các nhà nghiên c?u và ng??i th?c hành t? ??ng x?y d?ng các ???ng ?ng ML t? các tùy ch?n kh? thi này cho m?i b??c ?? tìm ra các m? hình ML hi?u su?t cao cho m?t v?n ?? nh?t ??nh.2.1.2 T?i sao s? d?ng AutoML và nó giúp ích nh? th? nào?Có r?t nhi?u h??ng d?n v? ML trên internet và th??ng thì các t?p d? li?u m?u là s?ch s?, ???c ??nh d?ng và s?n sàng ?? s? d?ng v?i các thu?t toán vì m?c ?ích c?a nhi?u h??ng d?n là th? hi?n kh? n?ng c?a m?t s? c?ng c?, th? vi?n ho?c Ph?n m?m nh? m?t D?ch v? (SaS) d?ch v?.Trên th?c t?, b? d? li?u có nhi?u lo?i và kích c? khác nhau. M?t cu?c kh?o sát ngành g?n ??y do Kaggle th?c hi?n vào n?m 2017, có tiêu ?? Tr?ng thái c?a Khoa h?c D? li?u và H?c máy, v?i h?n 16.000 c?u tr? l?i, cho th?y ba lo?i d? li?u th??ng ???c s? d?ng hàng ??u là d? li?u quan h?, d? li?u v?n b?n và d? li?u hình ?nh.H?n n?a, d? li?u l?n x?n n?m ? ??u danh sách các v?n ?? mà m?i ng??i ph?i ??i phó, m?t l?n n?a d?a trên cu?c kh?o sát c?a Kaggle. Khi m?t t?p d? li?u l?n x?n và c?n nhi?u x? l? ??c bi?t ?? ???c s? d?ng b?i các m? hình ML, Chúng ta s? dành m?t l??ng th?i gian ?áng k? cho các tính n?ng làm s?ch, thao tác và th? c?ng d? li?u ?? có ???c nó ? ?úng hình d?ng. ??y là ph?n t?n nhi?u th?i gian nh?t c?a b?t k? d? án khoa h?c d? li?u nào.Còn v? vi?c l?a ch?n các m? hình ML hi?u su?t, t?i ?u hóa siêu tham s? c?a các m? hình trong các giai ?o?n ?ào t?o, xác nh?n và th? nghi?m? ??y c?ng là nh?ng b??c c?c k? quan tr?ng có th? ???c th?c hi?n theo nhi?u cách.Khi s? k?t h?p c?a các thành ph?n phù h?p v?i nhau ?? x? l? và l?p m? hình t?p d? li?u c?a Chúng ta, s? k?t h?p ?ó ??i di?n cho m?t ???ng ?ng ML và s? l??ng ???ng ?ng ???c th? nghi?m có th? t?ng lên r?t nhanh.?? x?y d?ng thành c?ng các ???ng ?ng ML hi?u su?t cao, Chúng ta nên xem xét m?t cách có h? th?ng t?t c? các tùy ch?n có s?n cho m?i b??c b?ng cách xem xét các gi?i h?n c?a Chúng ta v? th?i gian và tài nguyên ph?n c?ng / ph?n m?m.H? th?ng AutoML giúp Chúng ta xác ??nh các cách ti?p c?n m?nh m? ?? t? ??ng x?y d?ng các ???ng ?ng ML cho m?t v?n ?? nh?t ??nh và th?c thi chúng m?t cách hi?u qu? ?? tìm ra các m? hình ho?t ??ng hi?u qu?.2.1.3 Các thành ph?n c?t l?i c?a h? th?ng AutoMLTrong ph?n này, chúng ta s? xem xét các thành ph?n c?t l?i sau c?a h? th?ng AutoML:X? l? tr??c tính n?ng t? ??ngL?a ch?n thu?t toán t? ??ngT?i ?u hóa siêu tham s?Hi?u r? h?n v? các thành ph?n c?t l?i s? giúp Chúng ta t?o b?n ?? tinh th?n v? h? th?ng AutoML.X? l? tr??c tính n?ng t? ??ngKhi Chúng ta x? l? các v?n ?? ML, Chúng ta th??ng có m?t t?p d? li?u quan h? có nhi?u lo?i d? li?u khác nhau và Chúng ta nên x? l? ?úng cách t?ng lo?i tr??c khi hu?n luy?n các thu?t toán ML.Ví d?: n?u Chúng ta ?ang x? l? d? li?u s?, Chúng ta có th? chia t? l? nó b?ng cách áp d?ng các ph??ng pháp nh? t? l? t?i thi?u ho?c t? l? ph??ng sai.??i v?i d? li?u v?n b?n, Chúng ta có th? mu?n lo?i b? các t? d?ng nh? a , an , the và th?c hi?n các thao tác nh? t?o g?c, ph?n tích cú pháp và m? hóa.??i v?i d? li?u ph?n lo?i, Chúng ta có th? c?n m? hóa nó b?ng các ph??ng pháp nh? m? hóa m?t nóng, m? gi? và b?m ??c tr?ng.Làm th? nào v? vi?c có m?t s? l??ng r?t cao các tính n?ng? Ví d?: khi Chúng ta có hàng nghìn tính n?ng, bao nhiêu trong s? chúng th?c s? h?u ích? S? t?t h?n n?u gi?m s? chi?u b?ng cách s? d?ng các ph??ng pháp nh? Ph?n tích Thành ph?n Chính ( PCA)?i?u gì s? x?y ra n?u Chúng ta có các ??nh d?ng d? li?u khác nhau, ch?ng h?n nh? video, ?m thanh và hình ?nh? Làm th? nào ?? Chúng ta x? l? m?i trong s? h??Ví d?: ??i v?i d? li?u hình ?nh, Chúng ta có th? áp d?ng m?t s? bi?n ??i nh? thay ??i t? l? hình ?nh thành hình d?ng chung và ph?n ?o?n ?? tách các vùng nh?t ??nh.Có r?t nhi?u ph??ng pháp ti?n x? l? tính n?ng và các thu?t toán ML s? ho?t ??ng t?t h?n v?i m?t s? t?p h?p các phép bi?n ??i. Có m?t h? th?ng AutoML linh ho?t trong kho v? khí c?a Chúng ta s? cho phép Chúng ta th? nghi?m các k?t h?p khác nhau m?t cách th?ng minh, ?i?u này s? giúp Chúng ta ti?t ki?m nhi?u th?i gian và ti?n b?c c?n thi?t trong các d? án c?a mình.L?a ch?n thu?t toán t? ??ngKhi Chúng ta ?? x? l? xong tính n?ng, Chúng ta c?n tìm m?t b? thu?t toán phù h?p ?? ?ào t?o và ?ánh giá.M?i thu?t toán ML ??u có kh? n?ng gi?i quy?t các v?n ?? nh?t ??nh. Chúng ta h?y xem xét các thu?t toán ph?n c?m nh? k-means, ph?n c?m ph?n c?p, ph?n c?m quang ph? và DBSCAN. Chúng ta ?? quen thu?c v?i k-method, nh?ng nh?ng cái khác thì sao? M?i thu?t toán này có các l?nh v?c ?ng d?ng và m?i thu?t toán có th? ho?t ??ng t?t h?n các thu?t toán khác d?a trên các thu?c tính ph?n ph?i c?a t?p d? li?u.???ng ?ng AutoML có th? giúp Chúng ta ch?n thu?t toán phù h?p t? m?t t?p h?p các thu?t toán phù h?p cho m?t v?n ?? nh?t ??nh. T?i ?u hóa siêu tham s?M?i thu?t toán ML ??u có m?t ho?c nhi?u siêu tham s? và Chúng ta ?? quen thu?c v?i kmeans.?Nh?ng kh?ng ch? các thu?t toán ML có siêu tham s?, các ph??ng pháp x? l? tính n?ng c?ng có siêu tham s? c?a chúng và chúng c?ng c?n ???c tinh ch?nh.?i?u ch?nh siêu tham s? là c?c k? quan tr?ng ??i v?i s? thành c?ng c?a m? hình và ???ng ?ng AutoML s? giúp Chúng ta xác ??nh m?t lo?t các siêu tham s? mà Chúng ta mu?n th? nghi?m, d?n ??n ???ng ?ng ML ho?t ??ng t?t nh?t.2.1.4 T?ng quan v? th? vi?n AutoMLCó nhi?u th? vi?n AutoML ph? bi?n và trong ph?n này Chúng ta s? có cái nhìn t?ng quan v? nh?ng th? vi?n th??ng ???c s? d?ng trong c?ng ??ng khoa h?c d? li?u.Feature ToolsFeature Tools là m?t th? vi?n t?t cho các tính n?ng t? ??ng k? thu?t t? d? li?u quan h? và giao d?ch.?Th? vi?n gi?i thi?u khái ni?m g?i là?T?ng h?p tính n?ng s?u?(?DFS?).?N?u Chúng ta có nhi?u t?p d? li?u v?i các m?i quan h? ???c xác ??nh trong s? ?ó, ch?ng h?n nh? cha-con d?a trên các c?t mà chúng ta s? d?ng làm s? nh?n d?ng duy nh?t cho các ví d?, DFS s? t?o các tính n?ng m?i d?a trên các phép tính nh?t ??nh, ch?ng h?n nh? t?ng, s?, trung bình, ch? ??, ?? l?ch chu?n.Auto-sklearnScikit-learn có m?t API tuy?t v?i ?? phát tri?n các m? hình ML và ???ng ?ng.?API c?a Scikit-learn r?t nh?t quán và hoàn thi?n;?n?u Chúng ta ?ang s? d?ng ?? làm vi?c v?i nó,?t? ??ng sklearn s? gi?ng nh? d? s? d?ng vì nó th?c s? là m?t th? thay th? cho scikit-h?c ??c l??ng. MLBox MLBox là m?t th? vi?n AutoML và nó h? tr? x? l? d? li?u ph?n tán, làm s?ch, ??nh d?ng, và nhà n??c-of-the-art thu?t toán nh? LightGBM và XGBoost. Nó c?ng h? tr? x?p ch?ng m? hình, cho phép Chúng ta k?t h?p m?t t?p h?p th?ng tin c?a các m? hình ?? t?o ra m?t m? hình m?i nh?m có hi?u su?t t?t h?n các m? hình riêng l?. TPOTC?ng c? t?i ?u hóa ???ng ?ng d?a trên c?y (TPOT) ?ang s? d?ng l?p trình di truy?n ?? tìm các ???ng ?ng ML ho?t ??ng t?t nh?t và nó ???c x?y d?ng d?a trên scikit-learning.Sau khi t?p d? li?u c?a Chúng ta ???c làm s?ch và s?n sàng s? d?ng, TPOT s? giúp Chúng ta th?c hi?n các b??c sau trong ???ng d?n ML c?a Chúng ta:Ti?n x? l? tính n?ngX?y d?ng và l?a ch?n tính n?ngL?a ch?n m? hìnhT?i ?u hóa siêu tham s?Khi TPOT ???c th?c hi?n xong v?i th? nghi?m c?a mình, nó s? cung c?p cho Chúng ta ???ng d?n ho?t ??ng t?t nh?t.2.2 MACHINE LEARNING2.2.1 Machine Learning là gì:Machine Learning ?? có t? nhi?u th? k? tr??c. Nó ???c sinh ra t? l? thuy?t r?ng máy tính có th? h?c mà kh?ng c?n ???c l?p trình ?? th?c hi?n các nhi?m v? c? th?. Khía c?nh l?p ?i l?p l?i c?a ML là r?t c?n thi?t vì các máy lu?n ph?i t? thích ?ng v?i d? li?u m?i. H? c?n h?c h?i t? d? li?u l?ch s?, t?i ?u hóa ?? tính toán t?t h?n và c?ng t? khái quát hóa ?? ??a ra k?t qu? phù h?p.Machine learning là m?t l?nh v?c c?a trí tu? nh?n t?o liên quan ??n vi?c phát tri?n các k? thu?t cho phép các máy tính có th? "h?c". C? th? h?n, h?c máy là m?t ph??ng pháp ?? t?o ra các ch??ng trình máy tính b?ng vi?c ph?n tích các t?p d? li?u. H?c máy có liên quan l?n ??n th?ng kê, vì c? hai l?nh v?c ??u nghiên c?u vi?c ph?n tích d? li?u, nh?ng khác v?i th?ng kê, h?c máy t?p trung vào s? ph?c t?p c?a các gi?i thu?t trong vi?c th?c thi tính toán. Nhi?u bài toán suy lu?n ???c x?p vào lo?i bài toán NP-khó, vì th? m?t ph?n c?a h?c máy là nghiên c?u s? phát tri?n các gi?i thu?t suy lu?n x?p x? mà có th? x? l? ???c.H?c máy có tính ?ng d?ng r?t cao bao g?m máy truy tìm d? li?u, ch?n ?oán y khoa, phát hi?n th? tín d?ng gi?, ph?n tích th? tr??ng ch?ng khoán, ph?n lo?i các chu?i DNA, nh?n d?ng ti?ng nói và ch? vi?t, d?ch t? ??ng, ch?i trò ch?i và c? ??ng r?-b?t (robot locomotion).2.2.2 Các lo?i Machine LearningCác thu?t toán h?c máy ???c ph?n lo?i theo k?t qu? mong mu?n c?a thu?t toán. Các lo?i thu?t toán th??ng dùng bao g?m:H?c có giám sát -- trong ?ó, thu?t toán t?o ra m?t hàm ánh x? d? li?u vào t?i k?t qu? mong mu?n. M?t phát bi?u chu?n v? m?t vi?c h?c có giám sát là bài toán ph?n lo?i: ch??ng trình c?n h?c (cách x?p x? bi?u hi?n c?a) m?t hàm ánh x? m?t vect? [X1, X2, ..., Xn] t?i m?t vài l?p b?ng cách xem xét m?t s? m?u d? li?u - k?t qu? c?a hàm ?ó.H?c kh?ng giám sát -- m? hình hóa m?t t?p d? li?u, kh?ng có s?n các ví d? ?? ???c g?n nh?n.H?c n?a giám sát -- k?t h?p các ví d? có g?n nh?n và kh?ng g?n nh?n ?? sinh m?t hàm ho?c m?t b? ph?n lo?i thích h?p.H?c t?ng c??ng -- trong ?ó, thu?t toán h?c m?t chính sách hành ??ng tùy theo các quan sát v? th? gi?i. M?i hành ??ng ??u có tác ??ng t?i m?i tr??ng, và m?i tr??ng cung c?p th?ng tin ph?n h?i ?? h??ng d?n cho thu?t toán c?a quá trình h?c.Chuy?n ??i -- t??ng t? h?c có giám sát nh?ng kh?ng x?y d?ng hàm m?t cách r? ràng. Thay vì th?, c? g?ng ?oán k?t qu? m?i d?a vào các d? li?u hu?n luy?n, k?t qu? hu?n luy?n, và d? li?u th? nghi?m có s?n trong quá trình hu?n luy?n.H?c cách h?c -- trong ?ó thu?t toán h?c thiên ki?n quy n?p c?a chính mình, d?a theo các kinh nghi?m ?? g?p.Ph?n tích hi?u qu? các thu?t toán h?c máy là m?t nhánh c?a ngành th?ng kê, ???c bi?t v?i tên l? thuy?t h?c ?i?n toán2.2.3 Các ch? ?? v? Machine LearningM? hình hóa các hàm m?t ?? xác su?t ?i?u ki?n: h?i quy và ph?n lo?i:M?ng n?-ronC?y quy?t ??nhL?p trình bi?u th?c genL?p trình di truy?nH?i quy quá trình GaussPh?n tích bi?t th?c tuy?n tínhKh?ng láng gi?ng g?n nh?t?? dài th?ng ?i?p t?i thi?uC?m tri nguyênHàm c? s? xuyên t?mMáy h? tr? vectorM? hình hóa các hàm m?t ?? xác su?t qua các m? hình phát sinh:Thu?t toán c?c ??i k? v?ngCác m? hình ?? h?a g?m m?ng Bayes và m?ng Markov?nh x? topo phát sinhCác k? thu?t suy lu?n x?p x? ?úng:Chu?i Markov ph??ng pháp Monte CarloPh??ng pháp bi?n thiênT?i ?u hóa: h?u h?t các ph??ng pháp trên ??u s? d?ng t?i ?u hóa ho?c là các th? hi?n c?a các thu?t toán t?i ?u hóa.Hình 2.3.3 T?i ?u hóa trong Machine learning2.2.4 Làm th? nào ?? có nh?ng h? th?ng Machine Learning t?t?Kh? n?ng chu?n b? d? li?uThu?t toán – c?n b?n & n?ng caoQuy trình t? ??ng và quy trình l?p l?iKh? n?ng scaleEnsemble modeling 2.2.5 Ph?n lo?i thu?t toán Machine Learning c? b?n- H?c có giám sát (Supervised learning)- H?c kh?ng giám sát (Unsupervised learning)S? khác nhau l?n nh?t gi?a 2 thu?t toán này là cách mà chúng ta cung c?p t?p d? li?u hu?n luy?n cho m? hình; Cách thu?t toán s? d?ng d? li?u và lo?i v?n ?? mà chúng gi?i quy?t.H?c có giám sátTrong h?c có giám sát, thu?t toán machine learning th?c hi?n quá trình “chuy?n d? li?u ??u vào thành ??u ra mong mu?n”.Trong ML, ??u vào ???c g?i là input, ??u ra còn ???c g?i là label (nh?n). T?p d? li?u hu?n luy?n ???c g?i là training set; M?i m?u d? li?u trong t?p hu?n luy?n ???c g?i là training example.Thu?t toán machine learning c?n h?c cách ?? chuy?n ??i m?i input (??u vào) thành label (k?t qu?) t??ng ?ng. Do v?y, m?i m?u d? li?u hu?n luy?n trong t?p d? li?u hu?n luy?n c?n ph?i bi?t tr??c label c?a nó.Ph?n lo?i (Classification): Khi ??u ra mong mu?n c?a chúng ta là m?t t?p h?u h?n và r?i r?c. Khi ?ó bài toán c?a chúng ta ???c g?i là bài toán ph?n lo?i.H?i quy (Regression): Khi ??u ra mong mu?n là m?t d?i giá tr? liên t?c. Ch?ng h?n nh? giá tr? xác su?t, khi ?ó bài toán s? thu?c lo?i h?i quy.H?c kh?ng giám sátH?c kh?ng giám sát c?ng là m?t nhánh trong machine learning. Các m?u d? li?u trong h?c kh?ng giám sát ch? c?n input (??u vào) mà kh?ng c?n label (??u ra). Nó ???c s? d?ng nhi?u trong vi?c khám phá c?u trúc và m?i quan h? c?a d? li?u. M?t thu?t toán ?i?n hình là bài toán ph?n c?m (clustering algorithm); Nó h?c cách ?? tìm các m?u d? li?u t??ng t? nhau và nhóm vào thành các c?m(cluster). M?t s? thu?t toán ph?n c?m nh? K-means h?c cách ph?n c?m ch? h?c t? t?p d? li?u ??u vào.2.2.6 L?u ? quan tr?ng trong Machine learningMachine learning ?ang r?t phát tri?n. Nh?ng machine learning kh?ng t? ??ng làm t?t c? m?i th? cho b?n ???c. Th?c t?, có nhi?u b??c th? c?ng c?n làm ?? thi?t k? ra m?t gi?i pháp. Tuy nhiên, chúng l?i có ?nh h??ng l?n t?i k?t qu? c?a bài toán. M?t s? ?i?u c?n l?u ? là:T?i nên s? d?ng thu?t toán h?c máy nào?Hình 2.2.6 S? ?? l?a ch?n thu?t toán phù h?pH?c có giám sát hay h?c kh?ng giám sát?D? li?u c?a b?n có nh?n (label) hay kh?ng? T?c là, m?i m?u d? li?u hu?n luy?n có m?t ??u ra t??ng ?ng hay kh?ng? N?u có, b?n h?y s? d?ng h?c có giám sát ?? gi?i bài toán. N?u kh?ng, h?c kh?ng giám sát là thu?t toán b?n nên dùng.Ph?n lo?i, h?i quy hay ph?n c?m??i?u ?ó ph? thu?c ch? y?u vào c?u h?i: B?n ?ang mu?n gi?i quy?t cái gì? N?u b?n mu?n g?n th? cho m?t bài báo; ph?n lo?i có th? là l?a ch?n ?úng ??n. Nh?ng n?u b?n c?n k?t qu? là m?t con s?, ch?ng h?n d? báo giá nhà ??t, h?i quy là l?a ch?n t?t nh?t. N?u b?n có m?t trang web bán hàng và mu?n g?i ? s?n ph?m t??ng t? cho khách, l?a ch?n h?p l? nh?t trong tr??ng h?p này là ph?n c?m.Deep learning, SVM, Naive Bayes, Decision Trees… thu?t toán nào t?t nh?t?Kh?ng có thu?t toán nào là t?t nh?t cho m?i bài toán. Có th? b?n th?y Deep learning và SVM ?? ch?ng minh chúng m?nh m? và hi?u qu? trong nhi?u ?ng d?ng khác nhau. Nh?ng tùy vào t?ng bài toán c? th? và ph?n tích d? li?u, m?t vài thu?t toán machine learning có th? làm t?t h?n các thu?t toán còn l?i. B?n c?n bi?t ?i?m m?nh c?a m?i thu?t toán và th? chúng ?? tìm ???c thu?t toán t?i ?u nh?t!Feature engineeringFeature engineering là quá trình chúng ta th?c hi?n trích xu?t và trích ch?n các ??c tr?ng (thu?c tính) quan tr?ng t? d? li?u th? ?? s? d?ng làm ??i di?n cho các m?u d? li?u hu?n luy?n. M?t t?p d? li?u hu?n luy?n có th? có r?t nhi?u thu?c tính, nh?ng kh?ng ph?i cái nào c?ng c?n thi?t và quan tr?ng. Feature engineering là k? thu?t giúp lo?i b? các thu?c tính d? th?a; làm ??n gi?n hóa quá trình bi?u di?n d? li?u nh?ng kh?ng làm ?nh h??ng t?i k?t qu? cu?i cùng. N?u kh?ng có b??c này, m? hình h?c s? c?c k? ph?c t?p và th?m chí còn gi?m ?? chính xác khi có nh?ng thu?c tính nhi?u.Feature engineering là m?t b??c quan tr?ng trong Machine learning (tr? khi d? li?u c?a b?n ?? s?ch s? ho?c là bài toán ch?a ?? l?n).B?n nên chú ?: N?u b?n kh?ng th?c hi?n b??c này, k?t qu? s? có th? r?t t?, cho dù b?n có dùng m?t thu?t toán t?t nh?t ?i n?a. Nó gi?ng nh? b?n c? g?ng ??c trong bóng t?i v?y; b?n kh?ng th? ??c ???c cho dù b?n th?ng minh t?i ??u ?i n?a.Trích xu?t ??c tr?ng (Feature extraction)?? n?p d? li?u hu?n luy?n vào m? hình h?c máy, b?n c?n ph?i ??a d? li?u th? v? c?u trúc nào ?ó mà thu?t toán có th? “hi?u”. C?ng vi?c này ???c g?i là trích xu?t ??c tr?ng. Th?ng d?ng nh?t, chúng ta s? chuy?n d? li?u th? v? d? li?u s? là vector c?a các ??c tr?ng.N?u chúng ta cung c?p các ??c tr?ng t?t h?n:Thu?t toán s? có kh? n?ng cung c?p nh?ng k?t qu? chính xác h?n, có th? s? c?n ít d? li?u hu?n luy?n h?n và gi?m ?áng k? th?i gian hu?n luy?n m? hình.Trích ch?n ??c tr?ng (Feature selection)??i khi, các ??c tr?ng chúng ta cung c?p cho thu?t toán machine learning có th? v? d?ng. Ch?ng h?n, v?i bài toán ph?n lo?i review, chúng ta cung c?p chi?u dài c?a review, ngày t?o và ng??i t?o review ?ó, … chúng có th? h?u ích ho?c kh?ng. S? r?t h?u ích n?u có ph??ng pháp t? ??ng phát hi?n ?i?u này. ?ó là trích ch?n ??c tr?ng, thu?t toán này s? d?ng k? thu?t ?ánh tr?ng s? cho t?ng ??c tr?ng; Và ch? l?a ch?n các ??c tr?ng có tr?ng s? cao.D? li?u hu?n luy?n (Training data)B?n c?n truy?n vào thu?t toán machine learning các m?u d? li?u hu?n luy?n. Ph? thu?c vào bài toán b?n c?n gi?i quy?t, chúng ta có th? c?n vài tr?m, vài nghìn, tri?u ho?c hàng t? m?u d? li?u hu?n luy?n. C?n nh?c, cung c?p các m?u hu?n luy?n t?t là r?t quan tr?ng; N?u b?n ??a vào các m?u d? li?u sai, c? h?i ?? có k?t qu? t?t s? gi?m ?i.Thu th?p m?t s? l??ng l?n d? li?u li?u có ch?t l??ng t?t ?? hu?n luy?n các m? hình h?c máy th??ng t?n nhi?u chi phí. Tr? khi b?n ?? có s?n d? li?u gán nh?n r?i. B?n có th? th?c hi?n c?ng vi?c này th? c?ng b?ng s?c ng??i. M?t s? c?ng c? h? tr? t?ng t?c ?? gán nh?n có th? giúp b?n.Nguyên t?c chung v? d? li?u hu?n luy?n là: Ch?t l??ng c?a d? li?u hu?n luy?n c?a b?n càng t?t, kh? n?ng b?n thu ???c k?t qu? t?t s? cao h?n.D? li?u ki?m th? và các ?? ?oSau khi chúng ta ?ào t?o m?t thu?t toán máy h?c, chúng ta c?n ki?m tra hi?u qu? c?a nó. ??y là m?t b??c ??c bi?t quan tr?ng, n?u kh?ng b?n s? kh?ng th? bi?t m? hình c?a mình có h?c ???c gì hay kh?ng!Ki?m th? và ?? chính xác? t??ng th?c hi?n r?t ??n gi?n, chúng ta s? d?ng d? li?u ki?m th? (testing data); D? li?u này có c?u trúc gi?ng v?i d? li?u hu?n luy?n; Nh?ng là m?t t?p d? li?u kh?ng có ? trong t?p d? li?u hu?n luy?n. Chúng ta s? th? t?ng m?u d? li?u ki?m th?, ki?m tra m? hình ho?t ??ng có nh? mong ??i kh?ng. N?u là bài toán h?c có giám sát, chúng ta quan sát nh?ng m?u m? hình cho ra k?t qu? ?úng. N?u ?? chính xác tr? ra là 90% trên t?p ki?m th?, chúng ta k?t lu?n m? hình này có ?? chính xác là 90%.?i?u quan tr?ng ph?i nh? r?ng d? li?u hu?n luy?n và ki?m th? ph?i tách bi?t. ??y là cách duy nh?t ?? ki?m tra hi?u su?t c?a m? hình h?c máy. B?n có th? có k?t qu? t?t trên t?p d? li?u hu?n luy?n, nh?ng có k?t qu? t? trên t?p ki?m th?; V?n ?? này ???c g?i là overfitting; M? hình h?c máy quá kh?p v?i d? li?u hu?n luy?n và có m?t k?t qu? d? ?oán t?. Cách th??ng dùng ?? tránh overfitting là s? d?ng ít s? l??ng ??c tr?ng h?n; ??n gi?n hóa m? hình; s? d?ng t?p hu?n luy?n l?n h?n và kh?ng gian d? li?u bao quát h?n.M?t s? ?? ?o khác?? chính xác là ?? ?o c? b?n nh?t, b?n có th? s? d?ng ?? ?o khác nh? Precision vs Recall; Nó s? nói cho b?n thu?t toán ho?t ??ng t?t nh? nào trên t?ng nh?n. Confusion matrix là m?t c?ng c? tuy?t v?i ?? xem thu?t toán ph?n lo?i d? ?oán “nh?p nh?ng” trong tr??ng h?p nào.??i v?i bài toán h?i quy và ph?n c?m, b?n c?n có các ?? ?o khác ?? ki?m tra thu?t toán c?a b?n có ho?t ??ng t?t hay kh?ng.Hi?u su?tTrên th?c t?, n?u b?n phát tri?n gi?i pháp cho nhu c?u th?c ti?n; ?? chính xác và t?c ?? x? l? là nh?ng y?u t? b?n c?n quan t?m. ?ng d?ng c?a b?n dù có hi?u qu? t?t nh?ng x? l? ch?m thì c?ng ch?ng xài ???c. ?i?u này có v? khó kh?n trong machine learning.Vi?c ??u tiên là b?n c?n l?a ch?n m?t Machine Learning Framework, các framework này th??ng có ? m?t s? ng?n ng? l?p trình nh?t ??nh. Python và th? vi?n Scikit-learn là m?t s? l?a ch?n hoàn h?o.Tuy nhiên, v?n ?? hi?u n?ng v?n có th? x?y ra. Nó ph? thu?c vào s? l??ng d? li?u hu?n luy?n, ?? ph?c t?p và thu?t toán b?n s? d?ng; ?i?u này có th? c?n nh?ng máy tính v?i b? nh? l?n và hi?u n?ng cao ?? hu?n luy?n. Có th? b?n ph?i hu?n luy?n nhi?u l?n ?? có ???c k?t qu? t?t. B?n c?ng có th? ?ào t?o l?i m? hình ?? ph? h?t nh?ng kh?ng gian d? li?u m?i và t?i ?u ?? chính xác.N?u mu?n hu?n luy?n d? li?u l?n v?i t?c ?? nhanh, chúng ta s? c?n nh?ng máy tính v?i c?u hình cao; Chúng cho phép ch?y ?a lu?ng t?t và tính toán song song.??y c?ng là nh?ng v?n ?? x?y ra trên th?c t?, nh?ng b?n s? c?n gi?i quy?t chúng n?u mu?n x?y d?ng nh?ng ?ng d?ng machine learning th?c ti?n.2.2.7 S? phát tri?n m?nh m? c?a Machine LearningNh? vào c?ng ngh? ?i?n toán, ngày nay Machine Learning kh?ng còn là máy tính “h?c” nh?ng chuy?n trong quá kh? n?a. Machine Learning ???c sinh ra t? kh? n?ng nh?n di?n pattern và t? l? thuy?t các máy tính có th? “h?c” mà kh?ng c?n ph?i l?p trình ?? th?c hi?n các tasks c? th? ?ó. V? phía các nhà nghiên c?u quan t?m ??n trí tu? nh?n t?o, h? l?i mu?n xem th? li?u máy tính có th? h?c d? li?u nh? th? nào. Y?u t? l?p trong Machine Learning r?t quan tr?ng vì khi các models ti?p xúc v?i d? li?u m?i, Machine Learning có th? thích ?ng ???c 1 cách ??c l?p. Machine Learning s? “h?c” các computations tr??c ?? tr? v? các k?t qu?, các quy?t ??nh ?áng tin c?y, l?p l?i ???c.T? l?u ?? có nhi?u thu?t toán Machine Learning n?i ti?ng nh?ng kh? n?ng t? ??ng áp d?ng các phép tính ph?c t?p vào Big Data – l?p ?i l?p l?i v?i t?c ?? nhanh h?n – ch? m?i phát tri?n g?n ??y.Các ?ng d?ng c?a Machine Learning ?? tr? nên quá quen thu?c nh?:Xe t? lái, gi?m thi?u tai n?n c?a Google? Chính là b?n ch?t c?a machine learningCác ?u ??i recommendation online nh? c?a Amazon Và Netflix? ?ng d?ng c?a Machine Learning trong cu?c s?ng h?ng ngàyMu?n bi?t ng??i dùng nói gì v? b?n trên Twitter? Machine Learning k?t h?p v?i s? sáng t?o c?a quy t?c ng?n ng?Nh?n di?n l?a ??o? M?t trong nh?ng nhu c?u s? d?ng hi?n nhiên ngày nay2.2.8 Nh?ng ??i t??ng nào ?ang xài Machine Learning?H?u h?t m?i ngành c?ng nghi?p ?ang làm vi?c v?i hàm l??ng l?n d? li?u ??u nh?n ra t?m quan tr?ng c?a c?ng ngh? Machine Learning. Nh?ng insights t? ngu?n d? li?u này – ch? y?u d?ng realtime – s? giúp các t? ch?c v?n hành hi?u qu? h?n ho?c t?o ???c l?i th? c?nh tranh so v?i các ??i th?.Các d?ch v? tài chínhChính ph?Ch?m sóc s?c kh?eMarketing và salesD?u khíV?n t?iCH??NG III: ?P D?NG AUTOML V?O B?I TO?N IRIS CLASSIFICATION3.1 ?p d?ng máy h?c t? ??ng (AutoML) H?c máy (ML)?là m?t ch? ?? r?t r?ng.?Chúng ta có th? s? d?ng ??nh ngh?a c?a nó ?? gi?i thích nó là gì: d?y m?t c? máy th?c hi?n m?t nhi?m v?.??i?u này r?t gi?ng v?i l?p trình!S? khác bi?t chính là trong l?p trình, b?n c?n cung c?p m?t c?ng th?c (m?) chính xác ?? cho Machine Learning bi?t nó s? ho?t ??ng nh? th? nào.?Trong?Machine Learning,?b?n c?ng cung c?p m?, nh?ng m? ?ó s? cho machine learning bi?t cách h?c d?a trên các ví d? tr??c ?ó (d? li?u l?ch s?).M? này sau ?ó ???c s? d?ng ?? t?o?m? hình Machine Learning.?T?t c? các hành ??ng trong t??ng lai ???c th?c hi?n b?i máy s? ???c tính toán b?i m? hình.??y là m?t ??nh ngh?a r?t l?ng l?o, nh?ng b?n nên hi?u c? b?n v? ML t? nó.?Bên d??i là s? hình ?nh s? ?? cho th?y cách l?p trình và Machine Learning ho?t ??ng.?Hình 3.1.1 Ho?t ??ng c?a AutoMLTrong l?p trình, con ng??i c?n cung c?p các b??c chính xác (m?) ?? cho máy bi?t cách x? l? d? li?u ??u vào.Hình 3.1.2: M? hình AutoMLTrong H?c máy, con ng??i c?n cung c?p m? và d? li?u l?ch s? ?? t?o M? hình H?c máy.?Sau khi ?ào t?o M? hình ML, nó có th? ???c s? d?ng ?? tính toán k?t qu? ??u ra trên d? li?u kh?ng nhìn th?y.Trong các hình trên, b?n có th? th?y r?ng l?p trình th??ng ??n gi?n h?n nhi?u so v?i H?c máy (t?ng s? b??c nh? h?n và kh?ng c?n d? li?u l?ch s?).Và th??ng có c?m giác nh? l?p trình d? h?n ML nhi?u.?Nh?ng có nh?ng tình hu?ng mà vi?c cung c?p ch??ng trình chính xác là kh?ng th?.Ví d?: nhi?m v? ph?n lo?i hình ?nh - gi? s? b?n mu?n bi?t nh?ng gì có trong hình ?nh d?a trên n?i dung c?a nó. Kh?ng th? vi?t ra t?t c? các ?i?u ki?n ?? nh?n ra cái gì trong m?t b?c tranh (các b?c tranh có th? có kích th??c, t? l? khác nhau, v.v.). Nhìn b?ng m?t th??ng thì d?, nh?ng vi?t m?t ch??ng trình chính xác thì kh?ng th?.Nh?ng v?i ML chúng có th? t?o m?t m? hình có th? nh?n d?ng hình ?nh.3.2 X?y d?ng bài toán Iris classification 3.2.1 Gi?i thi?u v? hoa IrisHoa Iris có tên ti?ng vi?t là hoa Diên V?. Ti?ng Hy L?p, "Iris" có ngh?a là C?u V?ng. Trong th?n tho?i Hy L?p, Iris là tín s? c?a th?n Zeus và nàng th??ng xu?t hi?n d??i hình m?t chi?c c?u v?ng. Nàng là ng??i ??a tin trên ??nh Olympus, Iris mang th?ng ?i?p c?a các v? th?n linh t? "con m?t Thiên ???ng" xu?ng cho nh?n lo?i trên trái ??t qua vòng cung c?u v?ng r?c r?. T? Iris c?ng có ngh?a là "con m?t Thiên ???ng" (The Eye of Heaven). Iris, nh? ta ?? bi?t, là tên c?a m?t n? th?n Hy L?p, m?t loài hoa, và nó còn có ngh?a là tròng ?en trong con m?t chúng ta. ?i?u này ng? ? r?ng m?i chúng ta ??u mang trong mình m?t m?nh c?a Thiên ???ng. Nh?ng ng??i ?àn ?ng Hy L?p th??ng tr?ng hoa Diên V? tím trên m? nh?ng ng??i ph? n? mà h? yêu th??ng ?? t? lòng t?n kính n? th?n Iris, ng??i mang s? m?nh d?n d?t nh?ng linh h?n ph? n? này ??n ch?n Thiên ?àng (the Elysian fields). Diên V? là loài c?y l?u niên có th?n th?o v??n cao, lá hình l??i ki?m và nh?ng ?óa hoa to nhi?u màu s?c v?i ba cánh và ba ?ài hoa r? xu?ng. Có h?n 300 loài hoa Diên V? xinh ??p khác nhau v?i các màu xanh da tr?i nh?t, tím, vàng, tr?ng, h?ng, cam, n?u ??...?a d?ng nh? màu s?c c?u v?ng. Hoa Diên V? ???c xem nh? s? gi? mang ??n nh?ng ?i?m lành, ni?m hy v?ng. Ba cánh hoa Diên V? ??i di?n cho lòng Trung Thành, s? Kh?n Ngoan và lòng D?ng C?m. Hoa Diên V? vàng là bi?u t??ng c?a ng?n l?a và ni?m ?am mê Hoa Diên V? ?? t?ng ???c th?y ? sa m?c, ??m l?y hay c? mi?n B?c c?c Siberia l?nh giá, nhi?u nh?t v?n là ? các vùng khí h?u ?n hòa Hoa Diên V? ?? là bi?u t??ng c?a hoàng gia và s? che ch? th?n thánh su?t hàng th? k? trên kh?p th? gi?i. Loài hoa ??y s?c thu hút này ???c r?t nhi?u ng??i ng??ng m?. Các v? vua chúa n??c Pháp ?? dùng nó làm bi?u t??ng hoàng gia, g?i nó là Fleur-de-lis. "Fleur-de-lis" có ngu?n g?c t? tên "Fleur-de-Louis", sau th?i vua Louis VII, n?m1147. Theo th?i gian, tên ?ó chuy?n thành "Fleur-de-luce", có ngh?a là hoa c?a ánh sáng (flower of light), cu?i cùng ??n ngày nay, nó ???c g?i là "Fleur-de-Lys", hay Flower of the Lily (Lily: Hoa Hu? T?y, Loa Kèn, Bách H?p). Fleur-de-Lis ?? là bi?u t??ng c?a n??c Pháp t? th? k? 13. Hoàng gia Pháp trang trí hoa Diên V? trên áo choàng, các ?? v?t trong cung ?i?n và trên nh?ng b?c t??ng nh? bi?u hi?n c?a s? toàn bích, ánh sáng và cu?c s?ng. Có nhi?u truy?n thuy?t khác nhau gi?i thích t?i sao hoa Diên V? ???c ch? ?? qu?n ch? Pháp ch?n làm bi?u t??ng. T??ng truy?n r?ng, Clovis, vua n??c Pháp tri?u ??i Mê R? Vê khi ??i m?t v?i ??i qu?n thi?n chi?n c?a Alamanni (??c) ??n x?m chi?m v??ng qu?c mình, ?ng ?? nói v?i hoàng h?u Clotida r?ng ?ng s? theo ??o và ch?u r?a t?i n?u nh? Chúa phù h? ?ng ?ánh th?ng tr?n ??u này (tr??c ?ó hoàng h?u ?? nhi?u l?n khuyên ch?ng mình vào ??o nh?ng ?ng v?n kh?ng nghe). Cu?i cùng, ?ng th?ng th?t và nh?n fleur-de-lis làm bi?u t??ng. Ti?p ?ó, vào th? k? 12, vua Louis tr? thành hoàng ?? n??c Pháp ??u tiên kh?c h?a hoa Diên V? trên chi?c khiên c?a mình. N? anh hùng n??c Pháp, Joan of Arc (Jeanne d’Arc) ?? mang theo lá c? tr?ng có bi?u t??ng Chúa h? m?nh c?a hoàng gia (hoa Diên V?) khi bà ?ánh b?i qu?n Anh t?i Orléans (1429). ? Nh?t, hoa Diên V? t??ng tr?ng cho chí khí anh hùng và dòng d?i qu? phái. Hoa Diên V? là m?t ph?n quan tr?ng trong l? h?i mùa xu?n dành cho các bé trai3.2.2 ??nh ngh?a bài toán Iris classification V?i 1 b? d? li?u ?? s? v? hoa Iris ?? có v? các cá th? hoá thu?c các loài Iris c? th?, ta kh?ng c?n ph?i ph?n tích v? gen hay các ph?n tích v? sinh h?c ph?c t?p ?? nh?n bi?t ra 1 cá th? hóa ?ang xét thu?c loài Iris nào, b?ng các d? li?u ?? có s?n và d?a vào các thu?c tính c?a cá th?, ta có th? ??a ra nh?n bi?t nhanh chóng cá th? ?ó thu?c loài hoa Iris nào b?ng cách tính toán s? h?c trên máy tính (Machine Learning)a. Ph?n lo?i (Classification )M?t bài toán ???c g?i là ph?n lo?i n?u các nh?n c?a d? li?u ??u vào ???c chia thành m?t s? h?u h?n l?p (mi?n giá tr? là r?i r?c). Ch?ng h?n nh? tính n?ng xác ??nh xem m?t email có ph?i là spam hay kh?ng c?a Gmail; xác ??nh xem hình ?nh c?a con v?t là chó hay mèo. Ho?c ví d? nh?n d?ng k? s? vi?t tay ? trên c?ng thu?c bài toán ph?n l?p, bao g?m m??i l?p ?ng v?i các s? t? 0 ??n 9. T??ng t? cho ví d? nh?n d?ng khu?n m?t v?i hai l?p là ph?i và kh?ng ph?i khu?n m?t, …b. T?p d? li?u IrisT?p?d? li?u?Iris?ch?a 150 hàng, trong ?ó m?i hàng m? t? m?t b?ng hoa.?M?i hàng có 4 ??c ?i?m (c?t) m? t? thu?c tính c?a hoa.?Các tính n?ng này là:chi?u dài ?ài hoa (cm)chi?u r?ng ?ài hoa (cm)chi?u dài cánh hoa (cm)chi?u r?ng cánh hoa (cm)M?t nh?n (l?p) ???c gán cho m?i b?ng hoa cho chúng ta bi?t ?ó là lo?i hoa diên v? nào.?Trong t?p d? li?u này có 3 l?p:setosamàu s?cvirginicaH?y l?y hàng ??u tiên c?a d? li?u.?Chúng ta có:chi?u dài ?ài hoa = 5,1 cmchi?u r?ng ?ài hoa = 3,5 cmchi?u dài cánh hoa = 1,4 cmchi?u r?ng cánh hoa = 0,2 cmclass = setosaHàng ??u tiên cho chúng ta bi?t r?ng ai ?ó ?? l?y lo?i m?ng m?t 'setosa', ?o các ??c tính ?ài hoa và cánh hoa c?a nó và l?u nó vào t?p d? li?u.H?c máy ? ??y ? ??u??Gi? s? r?ng chúng ta có m?t b? hoa iris nh?ng chúng ta kh?ng bi?t chúng là nh?ng lo?i (class) nào.?Chúng ta bi?t cách ?o chi?u dài và chi?u r?ng c?a ?ài hoa và cánh hoa nh?ng chúng ta kh?ng th? nói ?ó là lo?i hay l?p m?ng m?t.Chúng t?i có th? s? d?ng Máy h?c ?? ph?n lo?i?hoa d?a trên các bi?n pháp c?a chúng t?i.?M? hình ML s? l?y 4 s? ??u vào (s? ?o c?a chúng t?i) và s? xu?t ra lo?i hoa.3.2.3 Th?c hi?n tri?n khai bài toána. Th?c hi?n cài ??t ph?n m?mCài ??t Visual Studio CodeCài ??t PythonCài ??t DockerCài ??t th? vi?n mljar-supervisedHình 3.2.1 Cài ??t Docker T?o th? m?c và t?p ch?a m? ngu?nHình 3.2.2 Th? m?c và t?p c?a bài toán ??t rab. Code minh ho?Chúng t?i s? c?n m?t vài gói và t?t c? chúng s? ???c cài ??t v?i gói?AutoML mljar ???c giám sát?.??? cài ??t nó ch?y:pip install mljar-supervisedKhi b?t ??u, h?y nh?p các gói chúng ta c?n:import pandas as pdimport numpy as npfrom sklearn import datasetsfrom sklearn.model_selection import train_test_splitfrom supervised.automl import AutoMLSau ?ó t?i d? li?u:data = datasets.load_iris()X = pd.DataFrame(data["data"], columns=data["feature_names"])y = pd.Series(data["target"], name="target").map({i:v for i, v in enumerate(data["target_names"])})??y là cách d? li?u c?a chúng t?i tr?ng nh? th? này:Hình 3.2.3 T?o và l?y d? li?u các bi?n xCác?Y bi?n (?print(Y))Hình 3.2.4 Các bi?n yChúng t?i s? chia d? li?u c?a mình thành hai nhóm riêng bi?t:?ào t?o?- các m?u s? ???c s? d?ng ?? ?ào t?o m? hình H?c máyki?m tra?- các m?u mà chúng t?i s? s? d?ng ?? ki?m tra xem m? hình H?c máy c?a chúng t?i ?ang ho?t ??ng nh? th? nào trên d? li?u kh?ng nhìn th?y (trong quá trình ?ào t?o)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1)Chúng t?i s? s? d?ng 90% d? li?u c?a mình ?? ?ào t?o (90% * 150 = 135 m?u) và 10% (15 m?u) ?? th? nghi?m.B?y gi? chúng ta ?? có d? li?u s?n sàng, chúng ta có th? ?ào t?o m? hình H?c máy.?Có r?t nhi?u thu?t toán ML.?T?t c? chúng ta có th? ???c s? d?ng ?? ?ào t?o m? hình, ch?ng h?n nh? các m? hình sau:Decision Tree,Logistic Regression,Random Forest,Neural Networks,Xgboost,Chúng ta nên s? d?ng m? hình nào??Cái nào là t?t nh?t?Kh?ng có c?u tr? l?i duy nh?t cho nh?ng c?u h?i trên.?T?t c? ph? thu?c vào chính d? li?u.?Ph??ng pháp ph? bi?n là ki?m tra càng nhi?u càng t?t và ch?n m? hình ho?t ??ng t?t nh?t.?Th?ng th??ng, các thu?t toán ??n gi?n nh?t r?t t?t ?? b?t ??u.Nh?ng ??y kh?ng ph?i là k?t thúc c?a các v?n ?? c?a chúng t?i.?M?i thu?t toán th??ng có các tham s? ki?m soát các m? hình ???c ?ào t?o.?Chúng ???c g?i là?hyper-parameters.?Chúng ph?i ???c thi?t l?p c?n th?n cho thu?t toán.??? ch?n giá tr? c?a chúng, chúng t?i c?ng c?n ki?m tra m?t vài trong s? chúng.?? ch?n thu?t toán và siêu tham s?, chúng ta có th? s? d?ng m?t xác nh?n có th? ???c th?c hi?n theo nhi?u cách khác nhau.?T?i s? kh?ng ?i vào chi ti?t xác th?c.?T?i s? ch? cho b?n c?ng c? có th? x? l? t?t c? các v?n ?? trên.??ó là?H?c máy t? ??ng (AutoML)?.AutoML có th? ki?m tra nhi?u thu?t toán ML khác nhau và ?i?u ch?nh các siêu tham s? cho chúng.?Nó s? tìm ki?m m? hình ML t?t nh?t cho d? li?u có s?n.Trong cu?c s?ng th?c, AutoML còn ???c s? d?ng ?? làm nhi?u vi?c h?n n?a, nh? k? thu?t tính n?ng (chu?n b? các tính n?ng ?? ph?n tích và x?y d?ng các tính n?ng m?i) ho?c tri?n khai các m? hình d??i d?ng API REST.T?i ?ang s? d?ng?AutoML t??mljar-supervised gói (mà t?i là tác gi?).?Nó có m?t giao di?n r?t ??n gi?n.?H?y ?ào t?o m? hình:automl = AutoML(algorithms=["Decision Tree", "Linear", "Random Forest"], total_time_limit=5*60)automl.fit(X_train, y_train)Hai dòng trên s? cho chúng ta ki?m tra 3 thu?t toán khác nhau: Decision Tree, Logistic Regression and Random Forest.?Sau ?ó, nó s? ch?n cái t?t nh?t.?Có gi?i h?n th?i gian ???c ??t thành 5 phút (5 * 60 gi?y) cho t?ng th?i gian ?ào t?o.K?t qu? c?a vi?c ch?y b?n s? nh?n ???c ??u ra nh? th? này:Hình 3.2.5 K?t qu? ch?y AutoMLTi?p theo ph?n lo?i xác su?t ki?m tra d? li?u có b?ng v?i ng??ng m?c ??nh hay kh?ng:y_predicted = automl.predict(X_test)result = pd.DataFrame({"Predicted": y_predicted["label"], "Target": np.array(y_test)})filtro = result.Predicted == result.Targetprint(filtro.value_counts(normalize=True)) Hình 3.2.6 Ph?n lo?i xác su?tTính toán ma tr?n ?? ?ánh giá ?? chính xác c?a ph?n lo?i. T?o ma tr?n m?c tiêu, d? ?oán, màu s?c.# confusion matrixdf = pd.DataFrame(result)confusion_matrix = pd.crosstab(df['Target'], df['Predicted'], rownames=['Target'], colnames=['Predicted'], margins = True)confusion_matrix Hình 3.2.7 Hình ma tr?n confusionM?c ti?p theo là Seaborn là m?t th? vi?n ?? t?o ?? h?a th?ng kê b?ng Python. Nó ???c x?y d?ng d?a trên matplotlib và tích h?p ch?t ch? v?i c?u trúc d? li?u c?a g?u trúc. Seaborn giúp b?n khám phá và hi?u d? li?u c?a mình. Các ch?c n?ng v? bi?u ?? c?a nó ho?t ??ng trên khung d? li?u và m?ng ch?a toàn b? t?p d? li?u và th?c hi?n n?i b? vi?c l?p b?n ?? ng? ngh?a và t?ng h?p th?ng kê c?n thi?t ?? t?o ra các ? th?ng tin. API khai báo, ??nh h??ng t?p d? li?u c?a nó cho phép b?n t?p trung vào ? ngh?a c?a các y?u t? khác nhau trong các ? c?a b?n, thay vì vào chi ti?t v? cách v? chúng.# Plot with seabornimport seaborn as snimport matplotlib.pyplot as pltsn.heatmap(confusion_matrix, annot=True)plt.show()T?o ?? th? ma tr?n m?c tiêu và d? ?oán Hình 3.2.8 ?? thi ma nh?p v?i d? li?u ma tr?n m?c tiêu và d? ?oánK?T LU?NT?ng k?tNh?ng ?i?m ?? làm ???cTìm hi?u ???c Macchine Learning, AutoMLHi?u và hoàn thành c?n b?n v? bài toán Iris classification Nh?ng ?i?m ch?a làm ???cCh?a phát tri?n s?u ???c bài toánCòn thi?u sót nhi?u trong quá trình làm báo cáoK?t lu?nL?i ??u tiên em mu?n c?m ?n ??n Vi?n C?ng ngh? Qu?c t? ?à N?ng (DNIIT) - ??i h?c ?à N?ng, Th?y C?, anh ch? và các b?n t?i Vi?n C?ng ngh? Qu?c t? ?à N?ng (DNIIT). Nh? có s? giúp ?? t?n tình t? m?i ng??i em ?? hoàn thành ???c bài báo cáo hoàn ch?nh. Qua quá trình h?c t?p ? Vi?n C?ng ngh? Qu?c t? ?à N?ng (DNIIT) em ???c tr?i nghi?m nh? m?i tr??ng làm vi?c, h?c ???c n?n t?ng m?i và ?ang phát tri?n m?nh Machine Learning (máy h?c). Trong quá trình h?c t?p em ???c nghiên c?u tham kh?o các bài toán hay nh?: Deep Learning, AI, … V?i ?? tài d? ?oán giá nhà v?i nhi?u k? thu?t n?ng cao và c? b?n v? Machine Learning nh?: k? thu?t h?i quy, thu?t toán c?c ??i kì v?ng, ánh x? topo phát sinh, … Em tìm hi?u và demo ???c mljar-supervised s? d?ng ???c c? b?n các gói th? vi?n c?a mljar. Tìm hi?u c? ch? ho?t ??ng docker và th?c hi?n vào bài toán. Nh? s? tr?i nghi?m trên em bi?t s?p x?p th?i gian linh ho?t h?n, ???c làm vi?c nhóm theo m? hình Agile. Em xin c?m ?n Th?y Ths. Nguy?n Thanh Tu?n, ng??i ?? d?n d?t nhóm em ?? ??t ???c k?t qu? t?t nh?t. S? nhi?t tình c?a th?y và nh?ng c?u h?i ??t ra c?a th?y ?? giúp em am hi?u h?n v? Machine Learning. Em xin ch?n thành c?m ?n Th?y Ths. Nguy?n Thanh Tu?n va? C? Ths. Tr??n Uyên Trang.T?I LI?U THAM KH?O hands-automated-machine-learning.pdfT?I LI?U THAM KH?OL?u ? r?ng: T?ng s? trang báo cáo th?c t?p t?i thi?u 30 trang. ................
................

In order to avoid copyright disputes, this page is only a partial summary.

Google Online Preview   Download