Google ha annunciato l'aggiornamento del modello multimodale Gemini 1.5 Pro che, secondo l'azienda, migliorerà le capacità di ragionamento, traduzione e generazione di codice del sistema. L'azienda ha anche presentato Gemini 1.5 Flash, un modello potente quanto il Gemini principale ma più efficiente e destinato a "compiti ristretti, a bassa latenza e ad alta frequenza" come la ricerca in locale sui dispositivi.

Quest'estate Google introdurrà una nuova funzione in Google Foto che consentirà a Gemini di passare al setaccio le foto degli utenti e di rispondere alle richieste basandosi sull'analisi del contenuto visivo delle immagini. Durante una dimostrazione, il CEO di Google Sundar Pichai ha chiesto a Gemini quale fosse la sua targa e il modello ha risposto estraendo un'immagine della targa stessa dalla sua libreria di foto. Notevole, ma dubitiamo che si trattasse della vera targa di Pichai.

Courtesy Google

Google ha aggiornato Google Lens per consentire la ricerca tramite video oltre alla già nota funzionalità di ricerca a partire da un’immagine. Gli utenti possono registrare un video del soggetto di cui vogliono sapere di più e porre una domanda con la voce durante il video. I modelli di Google interpretano il contenuto video e audio per fornire una risposta contestuale e pertinente basata sui risultati di Google Search.

Project Astra è un nuovo assistente AI avanzato progettato per funzionare come un assistente virtuale onnicomprensivo. Dispone di capacità multimodali per osservare e interpretare le immagini attraverso la fotocamera del dispositivo, tenere traccia degli oggetti ed eseguire compiti per l'utente. Con Project Astra Google spera di creare un agente completamente funzionale, in grado di comunicare con gli utenti e di eseguire azioni al posto loro.

Veo è un nuovo modello di generazione video che compete direttamente con Sora di OpenAI. Il modello è in grado di produrre filmati a 1080p sulla base di input video, fotografici o testuali e con molti stili diversi, dalle riprese aeree ai timelapse. L'azienda ha già iniziato a offrire Veo ad alcuni creatori selezionati su YouTube.