FINE TUNE LÀ GÌ

Part I. Cửa hàng đến Transfer Learning.quý khách hàng đang xem: Fine tune là gì

Mục lục:

Các tư tưởng Model Source Tasks và Target Tasks Transfer Learning Cơ sở Featuriser Fine-tuning Lợi ích cùng giảm bớt Lợi ích Hạn chế? Msinh hoạt đầu

quý khách hàng thừa lười khi đề xuất train lại network từ đầu?

quý khách thừa căng thẳng mệt mỏi với việc tạo nên một end-to-end network new để thực hiện một task có có nhiều phần khác nhau?

Quý khách hàng không có một cỗ GPU to gan cùng không muốn ĐK AWS giỏi dùng Google Cloud?Hay bạn không tồn tại một bộ dataphối lớn vào task mà lại mình buộc phải thực hiện?

Well, đã tới lúc chúng ta nhắm tới sự giúp đỡ của Transfer Learning, một chuyên môn mang lại những network đủ giỏi chỉ với lượng dataphối nhỏ trên cửa hàng các network bao gồm sẵn.

Bạn đang xem: Fine tune là gì

Để tận dụng tối đa được các pretrained network này là một trong thẩm mỹ được nghiên cứu và phân tích trường đoản cú những năm 90. khi Lorien Pratt thực nghiệm lần đầu năm 1993 và sau đó viết lại nó bên dưới dạng một lý thuyết toán học (formal analysis) năm 1998.

Đây đã là bài thứ nhất của Transfer Learning, giúp cho chúng ta có một chiếc nhìn tổng quan tiền về các phương diện của Transfer Learning trước lúc lấn sân vào thực hành thực tế sinh sống nội dung bài viết sau đó ;)

Prerequisite - Trước khi tham gia học về Transfer Learning, bản thân khuyến khích chúng ta đọc về:

Neural Network cơ phiên bản.

Dataphối với quá trình tạo nên một Mã Sản Phẩm.

1. Giới thiệu

Ngày xửa ngày xưa, lúc nền vnạp năng lượng minch của loài tín đồ không cách tân và phát triển, những đội người nhỏ tuổi sinh sinh sống trong những hang hốc. lúc bé bạn biết trồng trọt, chúng ta chuyển ra phần lớn đồng bởi sinch sống cùng tại kia, chúng ta chạm mặt số đông bộ tộc không giống. Việc phát âm được nhau trở đề nghị khó khăn Khi số tín đồ ngày càng tăng.

Và gắng là họ sáng tạo ra ngôn từ, một cách để truyền đạt ý nghĩ của bản thân mình cho người bao phủ.

Việc phân tích khoa học, chỉ dẫn đa số ý tưởng mới thì đặc trưng duy nhất là ko làm cho lại phần nhiều gì sẽ được thiết kế rồi nhưng không làm tốt hơn được bởi thời hạn sẽ không còn cho phép sự tiêu tốn lãng phí điều đó xảy ra. Đặc biệt là trong Deep Learning, một ngành cải cách và phát triển nhanh mang lại chóng phương diện hiện giờ, hầu hết ý tưởng phát minh bản thân nghĩ ra dĩ nhiên gì vẫn chưa có ai làm? Deep Learing rộng phủ mang lại phần đa nghành nghề, chính vì vậy chiếc quan trọng là sử dụng hầu như prior works sẵn bao gồm nhằm tạo cho một Model bắt đầu tốt rộng, do thiết yếu câu hỏi này đang khôn xiết khó khăn với tốn thời hạn rồi chứ không nói đến phân tích lại từ đầu mọi máy.

2. Các khái niệm

1. Model

Chắc hẳn, nhiều người đã và đang biết về những mã sản phẩm khét tiếng, được train ở các dataphối Khủng (MNIST, CIFAR-100, ImageNet, …) với source code tương tự như Weights của Mã Sản Phẩm được public mang lại xã hội (chủ yếu là trên hocbong2016.net).Chúng ta Hotline đầy đủ Model đi kèm theo Weights điều đó là một trong những Pretrained Model.

Xem thêm: Scroll Lock Để Làm Gì - Scroll Lock Là Phím Gì

Model bắt đầu thực hiện một trong những phần hay toàn cục pretrained Mã Sản Phẩm nlỗi 1 phần của chính nó để học một tasks bắt đầu được gọi là Transfered Model.

2. Source Tasks và Target Tasks

Những Pretrained Model những điều đó thường được train vào một hoặc một vài bộ datasets nhất quyết, tương xứng với đến accuracy cao với một task hoặc các tasks (multi-task deep learning) nào đó mà nó được train. Chúng ta call những tasks nhưng mà pretrained Mã Sản Phẩm này được train nhằm triển khai là source tasks.

Nhiệm vụ của họ là tạo nên một model new nhằm tiến hành một hoặc các tasks nào đó. Những tasks rất cần phải tiến hành của model này rất có thể trùng hoặc không trùng cùng với tasks mà pretrained model được train (hay thì sẽ không trùng), bọn họ Gọi tasks này là target tasks.

3. Transfer Learning

Transfer Learning cũng đó là phương pháp để những mã sản phẩm truyền đạt cho nhau kỹ năng mà từng Mã Sản Phẩm hoàn toàn có thể làm được. Một Model có thể học tập trên source tasks nào đó cùng rồi pretrained model này được áp dụng mang đến Mã Sản Phẩm không giống để Mã Sản Phẩm mới đó học trên target tasks nkhô nóng hơn.

Cụ thể, Transfer Learning trong Deep Learning là một nghệ thuật nhưng vào đó:

Một pretrained Model đã có được train ở source tasks cụ thể như thế nào kia, khi đó 1 phần hay toàn bộ pretrained Mã Sản Phẩm hoàn toàn có thể được tái thực hiện nhờ vào vào trách nhiệm của mỗi layer trong Model kia. Một model new áp dụng một phần hay toàn thể pretrained Mã Sản Phẩm để học một target tasks cùng tùy từng trọng trách của từng layer nhưng Model bắt đầu có thể thêm các layer không giống dựa trên pretrained model sẵn tất cả.

Đó không phải là sự sao chép phát minh, bản thân bạn tạo thành pretrained Model đó public thành công xuất sắc của mình là do hi vọng những người dân theo sau có thể kiếm được đông đảo tiện ích trường đoản cú các Model kia, giỏi ít nhất là dùng nó để giải quyết và xử lý các quá trình của họ.

3. Cơ sở

1. Featuriser

Trước thời điểm năm 2012, phần nhiều phần lớn mã sản phẩm AI đa số được tạo thành thành do 2 stages chủ quyền cùng với nhau:

Feature Engineering: là quy trình dựa vào đông đảo phát âm biết của con fan về sự việc phải giải quyết (domain name knowledge) nhằm từ kia đúc rút số đông đặc trưng (features) của dataset nhưng mà rất có thể giúp ích cho vấn đề giải quyết điều đó. Do đó các features này được điện thoại tư vấn là hand-crafted features (nôm na là làm thủ công). Feature extractor là một phần của Mã Sản Phẩm dùng làm trích xuất ra features nói thông thường. Classifier/Regressor: cần sử dụng những thuật toán Machine Learning nhằm học với dự đân oán các hiệu quả từ số đông features được tạo thành ở bước bên trên.