Google Yapay Zeka Studio ile Gemma 3'ü Cloud Run'a dağıtma

Bu kılavuzda, Gemma 3 açık modellerinin Google Yapay Zeka Studio'da tek tıklamayla Cloud Run'a nasıl dağıtılacağı gösterilmektedir.

Google AI Studio, modelleri hızlı bir şekilde denemenize ve farklı istemlerle denemeler yapmanıza olanak tanıyan tarayıcı tabanlı bir platformdur. Seçilen Gemma 3 modelini kullanan bir prototip web uygulaması tasarlamak için bir sohbet istemi girdikten sonra, Gemma modelini GPU özellikli bir Cloud Run hizmetinde çalıştırmak için Cloud Run'a dağıt'ı seçebilirsiniz.

Oluşturulan bir ön uç hizmetini Cloud Run'a dağıtmak için Google AI Studio'yu kullandığınızda, Cloud Run'da Gemma açık modellerini sunmak için Google Gen AI SDK'sını destekleyen önceden oluşturulmuş bir kapsayıcı sağladığından, kapsayıcı hazırlamayla ilgili kurulum adımlarının çoğunu atlarsınız.

Google AI Studio'yu kullanmaya başlama

Bu bölümde, Google AI Studio'yu kullanarak Gemma 3'ü Cloud Run'a dağıtma konusunda size yol gösterilmektedir.

  1. Google AI Studio'da bir Gemma modeli seçin.

    Google AI Studio'ya gidin

    Chat sayfasındaki Çalıştırma ayarları panelinde varsayılan Gemma modelini kullanın veya Gemma modellerinden birini seçin.

  2. Üst çubukta Diğer işlemleri göster'i seçin ve Cloud Run'a dağıt'ı tıklayın.

  3. Gemma 3'ü Google Cloud Run'da dağıtma iletişim kutusunda, yeni bir Google Cloud projesi oluşturmak için talimatları uygulayın veya mevcut bir proje seçin. İlişkilendirilmiş bir faturalandırma hesabı yoksa faturalandırmayı etkinleştirmeniz istenebilir.

  4. Google AI Studio projenizi doğruladıktan sonra Google Cloud'a dağıt'ı tıklayın.

  5. Gemma 3 modeli Google Cloud'a başarıyla dağıtıldıktan sonra iletişim kutusunda aşağıdakiler gösterilir:

    • Gemma 3 ve Ollama çalıştıran Cloud Run hizmetinizin Cloud Run uç noktası URL'si.
    • Gemini API kitaplıklarıyla kimlik doğrulaması yapmak için kullanılan oluşturulmuş bir API anahtarı. Bu anahtar, gelen isteklerin yetkilendirilmesi için dağıtılan Cloud Run hizmetinin ortam değişkeni olarak yapılandırılır. API anahtarını, IAM kimlik doğrulamasını kullanacak şekilde değiştirmenizi öneririz. Daha fazla bilgi için Google Üretken Yapay Zeka SDK'sı ile güvenli şekilde etkileşim kurma başlıklı makaleyi inceleyin.
    • Google Cloud Console'daki Cloud Run hizmetinin bağlantısı. Cloud Run hizmetinizin varsayılan yapılandırma ayarları hakkında bilgi edinmek için bağlantıya gidin, ardından yapılandırma ayarlarını görüntülemek veya değiştirmek için Yeni düzeltmeyi düzenle ve dağıt'ı seçin.

  6. Cloud Run hizmetini oluşturmak için kullanılan Gemini API örnek kodunu görüntülemek üzere Kodu Al'ı seçin.

  7. İsteğe bağlı: Kodu kopyalayıp gerektiği gibi değişiklikler yapın.

Kodunuzda, dağıtılan Cloud Run uç noktasını ve API anahtarını Google Gen AI SDK ile kullanabilirsiniz.

Örneğin, Python için Google Gen AI SDK'sını kullanıyorsanız Python kodu aşağıdaki gibi görünebilir:

from google import genai
from google.genai.types import HttpOptions

# Configure the client to use your Cloud Run endpoint and API key
client = genai.Client(api_key="<YOUR_API_KEY>", http_options=HttpOptions(base_url="<cloud_run_url>"))


# Example: Generate content (non-streaming)
response = client.models.generate_content(
   model="<model>", # Replace model with the Gemma 3 model you selected in Google AI Studio, such as "gemma-3-1b-it".
   contents=["How does AI work?"]
)
print(response.text)


# Example: Stream generate content
response = client.models.generate_content_stream(
   model="<model>", # Replace model with the Gemma 3 model you selected in Google AI Studio, such as "gemma-3-1b-it".
   contents=["Write a story about a magic backpack. You are the narrator of an interactive text adventure game."]
)
for chunk in response:
   print(chunk.text, end="")

Dikkat edilmesi gereken noktalar

Google Yapay Zeka Studio'dan bir Cloud Run hizmeti dağıtırken aşağıdakileri göz önünde bulundurun:

  • Fiyatlandırma: Cloud Run, faturalandırılabilir bir bileşendir. Tahmini kullanımınıza göre maliyet tahmini oluşturmak için fiyat hesaplayıcıyı kullanın.
  • Kota: Cloud Run, Cloud Run Admin API kapsamında Request Total Nvidia L4 GPU allocation, per project per region kotası için isteği otomatik olarak yapar.
  • Uygulama Proxy Sunucusu: Ollama'yı sarmalamak ve hizmetinizi Gemini API ile uyumlu hale getirmek için dağıtılan hizmette Google AI Studio Gemini Uygulama Proxy Sunucusu kullanılır.
  • İzinler: Cloud Run hizmetinizi değiştirmeniz gerekiyorsa projenizdeki hesabınıza gerekli IAM rolleri verilmiş olmalıdır.
  • Kimlik doğrulama: Google AI Studio'dan bir Cloud Run hizmeti dağıttığınızda varsayılan olarak hizmet, herkese açık (kimliği doğrulanmamış) erişim (--allow-unauthenticated işareti) ile dağıtılır. Daha güçlü bir güvenlik mekanizması kullanmak için IAM ile kimlik doğrulama yapmanızı öneririz.

Sırada ne var?

Google AI Studio'dan Cloud Run'a dağıtırken performansı koruma ve optimize etmeyle ilgili en iyi uygulamalar hakkında bilgi edinin.