Hướng dẫn thiết lập dành cho iOS

Trang này cho bạn biết cách thiết lập môi trường phát triển để sử dụng MediaPipe Việc cần làm trong ứng dụng iOS của bạn.

Thiết bị và nền tảng được hỗ trợ

Để tạo ứng dụng iOS bằng MediaPipe Tasks, môi trường phát triển của bạn yêu cầu những điều sau:

  • macOS Mojave 10.14.3 trở lên.

  • Xcode 10.3 trở lên.

  • Thiết bị iOS chạy iOS 12.0 trở lên. Ngoài ra, trình mô phỏng iOS có thể xử lý các ứng dụng không yêu cầu máy ảnh của thiết bị.

Thiết lập môi trường dành cho nhà phát triển

Trước khi chạy tác vụ MediaPipe trên ứng dụng iOS, bạn phải có dự án Xcode hiện có hoặc tạo một dự án mới trên máy cục bộ của bạn.

Bạn chỉ có thể cài đặt MediaPipe Tasks bằng CocoaPods. Bạn phải cài đặt CocoaPods 1.12.1 trở lên trước khi bắt đầu. Cho hướng dẫn cài đặt CocoaPods trên macOS, hãy tham khảo bài viết Cài đặt CocoaPods hướng dẫn.

Thiết lập mã ví dụ

Phương thức MediaPipe Ví dụ kho lưu trữ chứa các ứng dụng iOS mẫu cho tác vụ MediaPipe.

Bạn có thể tạo một dự án từ mã ví dụ, tạo dự án và chạy công việc. Các bước sau đây sẽ tạo Văn bản Công cụ phân loại công việc.

Cách nhập và tạo dự án mã mẫu:

  1. Mở cửa sổ dòng lệnh, sao chép kho lưu trữ MediaPipe rồi chuyển đến thư mục chứa TextClassifier.xcodeprojPodfile.

    git clone https://github.com/google-ai-edge/mediapipe-samples
    cd mediapipe/examples/text_classification/ios
    
  2. Cài đặt MediaPipe Tasks bằng CocoaPods:

    pod install
    

    Lệnh này tạo một tệp TextClassifier.xcworkspace trong ví dụ thư mục dự án.

  3. Nhấp đúp vào tệp TextClassifier.xcworkspace để mở dự án trong Xcode. Nếu tệp TextClassifier.xcodeproj đã mở, hãy đóng tệp đó trước khi mở tệp TextClassifier.xcworkspace.

  4. Chọn lược đồ TextClassifier rồi chọn một thiết bị iOS thực hoặc từ thanh công cụ của cửa sổ dự án. Khi dùng iOS thực thiết bị, hãy đảm bảo rằng thiết bị được kết nối với máy Mac của bạn.

  5. Nhấp vào nút Run trên thanh công cụ của dự án.

Để biết thêm hướng dẫn về cách chạy ứng dụng trên Xcode, hãy tham khảo bài viết Tạo và chạy một ứng dụng.

Các phần phụ thuộc MediaPipe Tasks

MediaPipe Tasks cung cấp 2 thư viện tạo sẵn dành cho thị giác và văn bản. Chiến lược phát hành đĩa đơn Tệp mô hình .tflite phải nằm trong gói ứng dụng iOS sử dụng mô hình đó. Tuỳ thuộc vào MediaPipe Tas, hãy thêm tầm nhìn hoặc văn bản thư viện vào danh sách các nhóm trong PodfileCocoaPods. Để xem hướng dẫn về tạo Podfile với các nhóm bắt buộc cho ứng dụng, hãy tham khảo bài viết Sử dụng CocoaPods.

Nhiệm vụ dựa trên AI tạo sinh

Thư viện AI tạo sinh MediaPipe Tasks chứa các nhiệm vụ xử lý hình ảnh hoặc tạo văn bản. Để cài đặt thư viện AI tạo sinh MediaPipe Tasks, hãy thêm MediaPipeTasksGenAIMediaPipeTasksGenAIC nhóm cho mục tiêu của ứng dụng trong Podfile.

API suy luận LLM

Nhiệm vụ Suy luận LLM MediaPipe nằm trong MediaPipeTasksGenAIMediaPipeTasksGenAIC nhóm.

target 'MyLlmInferenceApp' do
  use_frameworks!
  pod 'MediaPipeTasksGenAI'
  pod 'MediaPipeTasksGenAIC'
end

Nhiệm vụ liên quan đến thị giác

Thư viện tầm nhìn MediaPipe Tasks chứa các nhiệm vụ xử lý hình ảnh hoặc video đầu vào. Để cài đặt thư viện tầm nhìn MediaPipe Tasks, hãy thêm MediaPipeTasksVision nhóm cho mục tiêu của ứng dụng trong Podfile.

target 'MyAppWithMediaPipeTasksVision' do
  use_frameworks!
  pod 'MediaPipeTasksVision'
end

Việc cần làm qua tin nhắn

Thư viện văn bản MediaPipe Tasks chứa các tác vụ xử lý dữ liệu ngôn ngữ bằng văn bản. Để cài đặt thư viện văn bản MediaPipe Tasks, hãy thêm phương thức MediaPipeTasksText nhóm cho mục tiêu của ứng dụng trong Podfile

target 'MyAppWithMediaPipeTasksText' do
  use_frameworks!
  pod 'MediaPipeTasksText'
end

Định cấu hình mục tiêu thử nghiệm

Nếu ứng dụng của bạn có mục tiêu thử nghiệm, hãy đảm bảo rằng Podfile của bạn tuân thủ một trong hai các cách triển khai sau đây để tránh mọi hành vi không mong muốn khi sử dụng Thư viện tác vụ MediaPipe.

Cách triển khai đơn giản nhất là để đảm bảo rằng mục tiêu kiểm thử không được lồng ghép vào nhau trong mục tiêu ứng dụng chính để thêm nhóm tác vụ MediaPipe.

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'
end

target 'MyAppWithMediaPipeTasksTests' do

end

Nếu mục tiêu thử nghiệm phải được lồng vào mục tiêu ứng dụng chính, thì Podfile phải tuân theo cách triển khai sau:

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'

    target 'MyAppWithMediaPipeTasksTests' do
      inherit! :none

    end
end

Cấu hình BaseOptions

BaseOptions cho phép định cấu hình chung của các API tác vụ MediaPipe.

Tên tùy chọn Mô tả Giá trị được chấp nhận
modelAssetPath Đường dẫn mô hình đến một tệp mô hình trong gói ứng dụng iOS. Đường dẫn dưới dạng chuỗi.

Tăng tốc phần cứng

Trên iOS, MediaPipe Tasks chỉ hỗ trợ các mô hình đang chạy trên bộ xử lý CPU tiêu chuẩn.

Khắc phục sự cố

Để được trợ giúp các câu hỏi kỹ thuật liên quan đến MediaPipe, hãy truy cập cuộc thảo luận nhóm hoặc Nhóm ảnh Cơ hội bổ sung hỗ trợ từ cộng đồng. Để báo cáo lỗi hoặc đưa ra yêu cầu về tính năng, hãy gửi vấn đề lên GitHub.

Để được trợ giúp thiết lập môi trường phát triển iOS, hãy truy cập vào trang Nhà phát triển của Apple Tài liệu.