O Gemini impulsiona a experiência de "computação de linguagem natural" do tldraw

A API Gemini permite que os desenvolvedores integrem facilmente recursos avançados de IA aos apps, abrindo novas possibilidades para a experiência do usuário e a funcionalidade. Esta postagem destaca como a tldraw usa o Gemini para criar uma experiência revolucionária de "computação de linguagem natural" no novo projeto, computer. Isso demonstra a velocidade e a facilidade com que as startups podem integrar uma IA poderosa usando a API Gemini e o SDK de tela do tldraw. A equipe do tldraw vai lançar o computador com o Gemini 1.5 Flash em breve (faça parte da lista de espera) e está atualmente criando protótipos com o Gemini 2.0 Flash para iterações futuras.

A tldraw usa a API Gemini para trazer o poder da IA de conversação para a programação visual, permitindo que os usuários gerem conteúdo e processem informações usando linguagem natural. Isso abre oportunidades incríveis para uma experiência do usuário mais intuitiva e eficiente em torno da IA, ampliando os limites da comunicação visual.

A tldraw, que se esforça para tornar os diagramas acessíveis e intuitivos, imaginou uma maneira mais natural de interagir com a tela. O fundador Steve Ruiz buscou aproveitar o poder do SDK de tela infinita do tldraw para criar um ambiente dinâmico para trabalhar com IA generativa. Essa visão levou ao desenvolvimento do computer, um aplicativo experimental em que os usuários criam fluxos de trabalho a partir de blocos de texto, imagens e instruções. Quando executado, as informações fluem de um componente para o próximo, com a saída de cada geração servindo como entrada para a próxima, criando processos poderosos que ramificam, fazem loops e iterações para produzir saídas.

O computador do tldraw é criado com base em uma rede de "componentes" interconectados que representam elementos na tela (caixas de texto, imagens, clipes de áudio etc.). Esses componentes são vinculados por setas, mostrando o fluxo de dados e transformações. Cada componente tem "procedimentos" associados, conjuntos de instruções executadas com base nas entradas de componentes conectados. Um componente pode aceitar dados de qualquer número de outros componentes e transmitir os dados de saída para muitos outros componentes, inclusive para si mesmo. Essa arquitetura baseada em componentes, combinada com a potência e a velocidade do Gemini 2.0 Flash, permite um sistema rápido e flexível capaz de lidar com diversas tarefas.

Confira como a prototipagem do Gemini 2.0 Flash impulsionou a experiência:

• Execução de procedimentos ultrarrápida:o Gemini 2.0 Flash executa procedimentos rapidamente. Por exemplo, um componente "Instrução" pode conter "Escrever um comercial curto". Em poucos instantes após ser acionado, o componente vai gerar um script reutilizável de etapas que pode transformar qualquer combinação de entradas em um script comercial. O componente vai usar esse script com as entradas atuais (por exemplo, um componente "Texto" com "Novas luvas inteligentes com tecnologia de IA para gatos") para fazer uma segunda solicitação ao modelo para a saída final. Essa saída pode ser transmitida para outro componente "Texto" vinculado para exibição, bem como para outros componentes conectados, como "Fala" para conversão de texto em fala, "Imagem" para geração visual ou outros componentes "Instrução" para mais transformações.

• Muito contexto, muitos modos:a inclinação maximalista no computador do tldraw exigia velocidade, capacidade e recursos. Com vários componentes fornecendo dados para cada geração, a janela de contexto grande do Gemini 2.0 Flash foi essencial para produzir resultados que levassem todas as entradas em conta, assim como o suporte a imagens e arquivos com comandos escritos.

• Dados estruturados:o fluxo de dados entre os componentes não seria possível sem a adesão a um único esquema. A saída JSON estruturada do Gemini 2.0 Flash garante que cada componente em um fluxo de trabalho possa reconhecer dados de qualquer tipo e produzir as saídas na mesma estrutura, evitando interrupções, suavizando a execução e garantindo que até mesmo fluxos de trabalho grandes sejam concluídos de forma confiável.

• Geração de procedimentos dinâmicos:além de executar procedimentos predefinidos, o Gemini 2.0 Flash pode gerar procedimentos dinamicamente. Um usuário pode inserir "criar uma campanha de marketing com base na descrição do produto", e o Gemini 2.0 Flash vai gerar as etapas (procedimentos) e os componentes necessários, criando um fluxo de trabalho na tela com base na solicitação de alto nível do usuário. Essa geração dinâmica libera um enorme potencial para experiências inovadoras do usuário e fluxos de trabalho simplificados.

A implementação rápida de computador do tldraw destaca a proposta de valor do Gemini para startups: prototipagem rápida, experiência do usuário aprimorada com interfaces intuitivas de linguagem natural e processamento eficiente de dados estruturados graças a modelos como o Gemini 2.0 Flash. Essa combinação permite que pequenas equipes criem recursos inovadores com tecnologia de IA de forma rápida e econômica.