AI Breakdown | KW 43, 2024 – Adobe, Open Source & Kurzfilme

Guten Morgen,

diese Woche steht ganz im Zeichen von Adobe. Auf der MAX 2024 stellte Adobe eine ganze Reihe an neuen, kommenden, KI-Funktionen für Kreative vor. Die meisten befinden sich noch in einem frühen Stadium und sind über die Beta Programme zu erhalten. Hier eine Auswahl im Schnelldurchlauf und dann schauen wir, was sonst noch so passiert ist.

Ethische Videos

das neue Text-zu-Video-Tool bewirbt Adobe zusätzlich damit, dass nur Bilder und Videos verwendet wurden, zu denen auch eine explizite Lizenz zur Nutzung vorliegt. Damit möchte man sich von anderen Tools abheben. Die Stock-Datenbank umfasst aber auch schon eine große Anzahl von KI-generierten Bildern aus anderen Quellen, wie sieht es damit aus?
Quelle: Adobe News - Firefly Video Model

Drähte und Kabel

können jetzt in Photoshop automatisch gefunden und entfernt werden. Auch lassen sich "störende" Personen oder Objekte einfacher entfernen.
Quelle: Adobe Blog - Photoshop Innovationen

Bessere Fotos

Lightroom soll euch noch einfacher helfen, das Beste aus euren Bildern zu machen. Dazu gibt es neue automatische Funktionen und Retuschen-Werkzeuge.
Quelle: Adobe Blog - Lightroom Neuerungen

Perfekte Mischung

Neue Objekte in Bilder einzufügen ist gar nicht so einfach oder fällt rasch auf. Gerade ein fehlender Schatten oder die Beleuchtung von verschiedenen Lichtquellen machten es schwierig. Hier soll der "Harmonize" Button helfen und die neuen Objekte natürlicher in die Szene einbetten.
Quelle: YouTube - Adobe Harmonize

Reinigung

Störende Effekte in Bildern, wie Linseneffekte, kurze Überbelichtungen etc. sollen sich mit Project Clean Machine aus Videos herausfiltern lassen.
Quelle: YouTube - Project Clean Machine

Die weiteren Projekte könnt ihr euch ebenfalls gerne anschauen, es sind jeweils nur ein paar Minuten:

• Aus Skizzen werden Bilder: YouTube
• 3D-Objekte aus einem Prompt: YouTube
• Umstellung vom Layout leicht gemacht: YouTube
• Audiogenerierung durch Bilder und Text: YouTube
• 2D zu 3D-Konvertierung: YouTube
• Automatische Übergänge in Videos: YouTube

An einem Platz

Letzte Woche haben viel über Text-zu-Video berichtet. Auf krea.ai findet ihr so ziemlich jedes Modell und müsst nicht auf verschiedenen Plattformen angemeldet sein.angemeldet sein müsst.
Quelle: X (ehem. Twitter) - krea.ai

Musik zum Foto

Suno erstellt nun passend zu eurem Bild oder Video die passende Musik. Aktuell warten wir noch auf den internationalen Rollout, daran hat man sich ja fast schon gewöhnt.
Quelle: X (ehem. Twitter) - Suno AI

Weniger Meetings

verspricht Heygen mit deinem eigenen Avatar. Ähnlich wie Zoom soll man einen Avatar von sich erzeugen können, der dann für euch an Meetings teilnimmt. Liest man sich dann nur noch die Zusammenfassungen durch?
Quelle: Heygen Help - Interactive Avatar Guide

Tracking

das Nachverfolgen von Objekten z.B. einer Hand in einem Video ist meist mit viel Handarbeit verbunden. Mit Metas neuem CoTracker3 soll dies deutlich einfacher und automatisierbar werden.
Quelle: Threads - Meta CoTracker3

Kurzfilme

ie Filmproduktionsfirma Blumhouse testet zusammen mit Meta die Nutzung von KI für Kurzfilme. Wo und wann diese gezeigt werden, ist bisher nicht klar.
Quelle: Hollywood Reporter - Blumhouse und Meta AI Video Generator

Open Source an der Spitze

Das neue Model llama-3.1-nemotron-70b-instruct von NVIDIA macht gerade Schlagzeilen. Es ist besser als Closed Source Modelle wie GPT-4 Turbo oder Claude 3.5 Sonnet. Nur das neueste o1 Modell liegt noch vorn.
Quelle: X (ehem. Twitter) - llama-3.1-nemotron

Mobile Modelle

Mistral veröffentlicht Modelle speziell für Laptops und Smartphones. Diese Modelle kommen mit sehr wenigen Ressourcen aus und können trotzdem ein großes Kontextfenster von 128.000 Tokens verarbeiten.
Quelle: TechCrunch - Mistral Mobile Modelle

Desktop-App

OpenAI hat eine erste Version seiner Desktop-App für Windows-Geräte veröffentlicht. Durch eine native App ist der Zugriff auf die KI noch leichter und diese kann auch einfacher mit Inhalten auf dem Computer interagieren.
Quelle: X (ehem. Twitter) - OpenAI Desktop App

Interne Suche

Perplexity erlaubt es jetzt "Spaces" anzulegen. In denen könnt Ihr eigene Dokumente und Informationen bereitstellen. Perplexity kann nun diesen Space durchsuchen und damit die bewährte Suche in mehreren Schritten auf eure Inhalte anwenden.
Quelle: Perplexity Blog - Spaces und interne Wissenssuche

Podcast-Regie

Notebook LM kann schon sehr ordentliche Podcasts erzeugen. Mit dem neuesten Update hast du mehr Möglichkeiten, Einfluss auf das Ergebnis zu nehmen. Durch zusätzliche Instruktionen kann z.B. der Fokus oder die Tonalität verändert werden.
Quelle: Google Blog - Notebook LM Update

Braucht nicht jeder Newsletter einen KI-Podcast? Nicht nur über KI, sondern von KI? In diesem Sinne: bleib neugierig!