TRANSFER LEARNING LÀ GÌ

     

Trong blog này, họ sẽ nghiên cứu và phân tích Transfer Learning. Bởi khái niệm Transfer Learning này liên quan đến Deep Learning và CNN. Cửa hàng chúng tôi sẽ nỗ lực nói một cách ngắn gọn độc nhất vô nhị về nhiều loại learning này.

Bạn đang xem: Transfer learning là gì


Giới thiệu về Transfer Learning

Có thể nói transfer Learning là một phương pháp Machine learning. Vào đó, một quy mô được trở nên tân tiến cho một nhiệm vụ được thực hiện lại có tác dụng điểm ban đầu cho một mô hình cho trách nhiệm thứ hai.

Transfer Learning là bí quyết tiếp cận phổ biến nhất vào Deep Learning. Trong điều này, bọn họ sử dụng các Pre-Trained model làm điểm khởi đầu về thị giác thiết bị tính. Không tính ra, các tác vụ xử trí ngôn ngữ tự nhiên với nguồn thời gian và laptop khổng lồ. Mặc dù vậy, họ cần trở nên tân tiến các quy mô mạng nơ-ron.

Vì vấn đề Transfer Learning liên quan đến các vấn đề. Chẳng hạn như học tập đa trọng trách và xiêu dạt khái niệm. Tuy nhiên nó không chỉ là một nghành nghề dịch vụ nghiên cứu dành riêng cho Deep Learning.

*

Pre-Trained model là gì?

Để giải quyết một vấn đề, họ cần gồm một Pre-Trained model về vụ việc tương tự. Thay vì xây dựng một mô hình từ đầu để xử lý một sự việc tương tự, chúng ta sử dụng mô hình được huấn luyện và đào tạo về vấn đề khác làm điểm khởi đầu.

Làm cụ nào tôi có thể sử dụng Pre-Trained Model?

Vì bao gồm một phương châm được khẳng định trước để sử dụng một Pre-Trained Model. Ngoại trừ ra, tư tưởng learning transfer đóng một vai trò đặc biệt trong một Pre-Trained Model.

Trong khi chọn 1 Pre-Trained Model, người ta nên cẩn trọng trong trường hòa hợp của họ. Nếu như câu lệnh mà bọn họ có vào tay vô cùng khác cùng với câu mà lại Pre-Trained model đã được đào tạo và huấn luyện – thì dự kiến mà bọn họ nhận được sẽ rất không bao gồm xác.

Vì đã có tương đối nhiều kiến ​​trúc được đào tạo trước tất cả sẵn thẳng để áp dụng trong tủ sách Keras. Tập dữ liệu Imagenet đã được sử dụng thoáng rộng để xây dựng các kiến ​​trúc không giống nhau vì nó đủ lớn (1,2 triệu hình ảnh) để tạo thành một quy mô tổng quát. Khoác dù, vụ việc được giới thiệu trong việc đào tạo và giảng dạy một tế bào hình.

Điều đó rất có thể phân loại chính xác các hình ảnh thành 1.000 loại đối tượng người tiêu dùng riêng biệt. Rộng nữa, 1.000 hạng mục hình ảnh này đại diện cho các lớp đối tượng người dùng mà chúng ta phát hiện trong cuộc sống đời thường hàng ngày. Ví dụ điển hình như những loài chó, mèo, những đồ vật khác biệt trong nhà, các loại phương tiện, v.v.

chúng ta thực hiện transfer Learning để tổng thể hóa thành các hình ảnh bên không tính tập dữ liệu ImageNet. Điều này chỉ xảy ra trong trường phù hợp Pre-Trained Model. Không tính ra, bọn họ sử dụng quy mô tinh chỉnh cho những sửa thay đổi trong một Pre-Trained Model. Vì họ giả định rằng mạng được đào tạo trước đã được đào tạo khá tốt.

Do đó, bọn họ không mong sửa thay đổi trọng lượng quá sớm với quá nhiều. Trong những lúc sửa đổi, họ thường sử dụng phần trăm học tập nhỏ dại hơn xác suất được áp dụng để đào tạo lúc đầu cho tế bào hình.

Các cách để tinh chỉnh tế bào hình

Trích xuất đối tượng – Đối với bề ngoài trích xuất đối tượng, bọn họ sử dụng Pre-Trained mã sản phẩm vì vào đó chúng ta cũng có thể loại bỏ lớp đầu ra. Rộng nữa, chúng ta phải sử dụng tổng thể mạng như một cỗ trích xuất tính năng cố định cho tập tài liệu mới.
*
Sử dụng phong cách xây dựng của Pre-Trained Model – Theo tập dữ liệu, tại thời điểm khởi tạo và huấn luyện và đào tạo mô hình, họ sử dụng loài kiến ​​trúc của nó.Huấn luyện một số lớp bên trong khi đóng băng những lớp khác – tất cả một biện pháp nữa nhằm sử dụng mô hình đã được huấn luyện trước, tức là huấn luyện một trong những phần mô hình. Hơn nữa, chúng ta phải giữ mang đến trọng lượng của các lớp ban đầu của quy mô được đóng góp băng. Trong những lúc chỉ phải huấn luyện và đào tạo lại những lớp cao hơn. Bạn có thể thử và soát sổ xem gồm bao nhiêu lớp được đóng băng và từng nào lớp được đào tạo.

Sơ trang bị dưới đây để giúp bạn quyết định cách tiếp tục sử dụng Pre-Trained mã sản phẩm trong trường thích hợp của bạn

Tình huống 1 – kích cỡ của Tập dữ liệu nhỏ tuổi trong khi độ tương đương về tài liệu là rất lớn – vào trường hợp rõ ràng này, chúng ta không yêu thương cầu gìn giữ mô hình, do độ tương đồng về dữ liệu là hết sức cao.

Mặc dù, theo tuyên bố sự việc của bọn chúng ta, bọn họ cần thiết lập và sửa đổi các lớp đầu ra. Như họ đã thực hiện Pre-Trained model ở trên đây như một trình trích xuất tính năng.

Hơn nữa, để xác minh tập đúng theo hình hình ảnh mới bao gồm mèo tuyệt chó, bọn họ sử dụng các quy mô được huấn luyện và đào tạo trên Imagenet. Ở đây họ yêu cầu các hình hình ảnh tương từ như Imagenet để phân các loại hai cổng output – mèo hoặc chó.

Xem thêm: Ăn Gì Gây Sảy Thai Trong Tháng Đầu, 10 Loại Thực Phẩm Gây Sảy Thai Mẹ Bầu Cần Tránh

Cuối cùng, sau cuối trong trường phù hợp này, bọn họ phải sửa đổi những lớp dày đặc. Ngoài ra, buộc phải đặt những lớp softmax sau cuối để xuất ra 2 hạng mục thay vày 1000.

Tình huống 2 – form size của dữ liệu nhỏ tuổi cũng như độ tương đồng của dữ liệu là khôn cùng thấp – vào trường phù hợp này, chúng ta phải đóng băng những lớp ban sơ (giả sử là k) của Pre-Trained Model. Bên cạnh ra, khi quy trình đóng băng hoàn tất, hãy đào tạo lại (n-k) lớp còn lại.

Mặc cho dù vậy, hãy ghi nhớ rằng các lớp trên thuộc sẽ được tùy chỉnh thiết lập thành tập dữ liệu mới. Bên cạnh ra, các lớp ban sơ được giữ lại trước vì kích thước nhỏ hơn của chúng. Mặc dù nhiên, hãy duy trì trọng lượng ướp lạnh của các lớp đó.

Tình huống 3 – form size của tập dữ liệu lớn mặc dù mức độ tương đương của tài liệu là siêu thấp – Đặc biệt, trong trường thích hợp này trường hợp, giảng dạy mạng nơ-ron sẽ tác dụng hơn. Vì chưng nó có một tập dữ liệu lớn. Ngoại trừ ra, điều chính là dữ liệu bọn họ sử dụng là không giống nhau.

Khi họ sử dụng dữ liệu khác cùng với dữ liệu bọn họ sử dụng trong đào tạo. Vày đó, cực tốt là huấn luyện và đào tạo mạng nơ-ron từ trên đầu theo tài liệu của bạn.

Tình huống 4 – kích thước dữ liệu lớn cũng giống như có độ tương đồng dữ liệu cao – nói theo cách khác đây là tình huống cuối cùng và lý tưởng. Như những Pre-Trained mã sản phẩm sẽ tác dụng hơn vào trường đúng theo này. Ngoại trừ ra, bạn cũng có thể sử dụng mô hình này theo phong cách rất tốt.

Chúng ta chỉ cần sử dụng mô hình là giữ lại kiến ​​trúc của quy mô và những trọng số thuở đầu của tế bào hình. Hơn nữa, bạn cũng có thể đào tạo thành lại quy mô này bằng cách sử dụng những trọng số như được khởi sinh sản trong Pre-Trained Model.

Learning quy nạp và chuyển giao quy nạp

chúng ta sử dụng hình thức Transfer Learning này vào Deep learning, được điện thoại tư vấn là chuyển nhượng bàn giao quy nạp. Vày đó, sẽ là một nghành nghề mà phạm vi của các mô hình hoàn toàn có thể được thu hẹp theo cách có lợi. Mặc dù, quy mô này tương xứng với một trọng trách khác nhưng có liên quan.

Làm cầm cố nào để thực hiện transfer Learning?

Hai cách tiếp cận thịnh hành để Transfer Learning như sau:

Trong khi chọn một nhiệm vụ, chúng ta phải chọn vấn đề mô hình dự đoán. Vấn đề với lượng dữ liệu dồi dào.

Tiếp theo, chúng ta phải cải cách và phát triển một tế bào hình khéo léo cho nhiệm vụ thứ nhất này. Khoác dù, một quy mô phải tốt hơn một quy mô ngây thơ. Đó là để đảm bảo an toàn một số quy mô phải giỏi hơn một mô hình ngây thơ.

Tái áp dụng mô hình:

Mô hình phải cân xứng với nhiệm vụ nguồn. Hơn nữa, chúng ta sử dụng nó làm cho điểm mở đầu cho một mô hình về trách nhiệm thứ nhì mà họ quan tâm. Rộng nữa, điều này liên quan tiền đến các phần của mô hình, tùy trực thuộc vào kỹ thuật mô hình hóa được sử dụng.

Điều chỉnh tế bào hình:

Chúng ta buộc phải áp dụng mô hình dựa trên tài liệu cặp đầu vào-đầu ra gồm sẵn cho nhiệm vụ quan tâm.

chúng ta phải lựa chọn 1 mô hình nguồn được huấn luyện trước từ các quy mô có sẵn. Các mô hình được xây cất trên những bộ tài liệu lớn cùng đầy thử thách bởi nhiều tổ chức nghiên cứu.

Tái thực hiện mô hình:

Như nghỉ ngơi điểm bắt đầu, chúng ta cũng có thể sử dụng Pre-Trained Model. Đó là trách nhiệm thứ hai phải quan tâm. Tùy trực thuộc vào quy mô được sử dụng, nó liên quan đến tất cả các phần của tế bào hình.

Chế độ điều chỉnh:

Chúng ta bắt buộc áp dụng mô hình dựa trên dữ liệu cặp đầu vào-đầu ra bao gồm sẵn cho trách nhiệm quan tâm.

Khi nào thì sử dụng phương thức transfer Learning?

chúng ta sử dụng phương pháp transfer learning nhằm tiết kiệm thời gian hoặc để đã đạt được hiệu suất xuất sắc hơn vì đấy là một phương thức tối ưu hóa.

Xem thêm: Tại Sao Càng Lên Cao Khí Áp Càng Giảm Nguyên Nhân Là Do Môn Địa

Có ba lợi ích hoàn toàn có thể có khi sử dụng cách thức Transfer Learning:

Khởi đầu cao hơn:Kỹ năng ban sơ trên quy mô nguồn cao hơn so với năng lực khác.Độ dốc cao hơn: Tỷ lệ cải thiện kỹ năng trong quá trình đào tạo mô hình nguồn. Đó là dốc hơn so với nếu như không.Đường tiệm cận cao hơn:Kỹ năng quy tụ của mô hình được đào tạo tốt hơn đối với những kỹ năng khác.

Các bài viết chủ đề khác: