AutoFlow

Ne işe yarar?

AutoFlow, Gemini'yi güçlü ve doğal dile dayalı bir temsilci olarak entegre ederek fiziksel engelli kullanıcıların bilgisayar kullanımını ve gezinme deneyimini basitleştirmek için tasarlanmış bir sesli erişilebilirlik asistanıdır.

Gemini, 3 temsilcimizin beyni olarak hizmet eder.
### Planlama aracısı
Planlama aracısı, kullanıcı arayüzü öğesinden ve ekran görüntüsünden plan oluşturmaktan sorumludur. Kullanıcı arayüzü öğesi Win32 UIAutomation API'den, ekran görüntüsü ise Win32 User API'den alınır ve Gemini'den bu verilerden bir plan oluşturmasını ister.
Bu aracının tek işlevi plan yürütmeyi başlatmaktır ve ardından planı halka planlama sistemine iletir.

### Tanımlayıcı temsilci
Tanımlayıcı temsilci, kullanıcının etkileşim kurmak istediği kullanıcı arayüzü öğelerini (ör. düğmeler veya bağlantılar) tanımlamaktan sorumludur. Bu temsilci, kullanıcının etkileşim kurmak istediği öğeyi tanımlamak için Gemini'yi kullanır.

### Gezinme aracısı
Gezinme aracısı, ekranla etkileşim kurmak için fare ve klavye etkinliğini yürütmekten sorumludur. Bu aracı, "sol tıklama" gibi doğal dili fare ve klavye yürütme işlemine dönüştürmek için Gemini'yi kullanır.