Willkommen bei der Rubrik „AI-Tagesbericht“! Hier finden Sie täglich Ihren Wegweiser durch die Welt der Künstlichen Intelligenz. Wir präsentieren Ihnen täglich die wichtigsten Neuigkeiten aus dem KI-Bereich, mit Fokus auf Entwickler, um Ihnen zu helfen, Technologietrends zu erkennen und innovative KI-Produktanwendungen kennenzulernen.
Neue KI-Produkte hier entdecken: https://top.aibase.com/
1. Zhispu AI präsentiert AutoGLM-Agent: Smartphone-Bedienung per Sprachbefehl
Das Zhispu-Technikteam hat kürzlich AutoGLM vorgestellt, ein neues Produkt, das auf den Forschungsergebnissen des GLM-Teams basiert. Es handelt sich um einen intelligenten Agenten, der die Smartphone-Bedienung durch einen Menschen simulieren und verschiedene Aufgaben ausführen kann. Die Einführung von AutoGLM markiert einen Fortschritt im Bereich der KI-basierten Smartphone-Nutzung und bringt KI-Anwendungen näher an den Alltag der Menschen.
【AiBase Zusammenfassung:】
🚀 AutoGLM ist ein intelligenter Agent des Zhispu-Technikteams, basierend auf den Forschungsergebnissen der GLM-Technologie, der die Smartphone-Bedienung durch einen Menschen simulieren und Aufgaben ausführen kann.
💡 AutoGLM ist vielseitig einsetzbar und kann auf Plattformen wie WeChat, Taobao, Ctrip, 12306, Meituan usw. verschiedene Aufgaben erledigen, ohne dass komplexe Workflows eingerichtet werden müssen.
🔧 AutoGLM basiert auf einem selbstentwickelten Framework für die Entkopplung der intelligenten Agentenschnittstelle und verteiltes, online-basiertes Verstärkungslernen, welches die Herausforderungen bei der Aufgabenplanung und -ausführung löst.
Detaillierte Informationen: https://xiao9905.github.io/AutoGLM
2. Minshen veröffentlicht wichtiges Update des Flux-basierten ic-light-Modells: 16-Kanal-VAE mit Leistungssprung und beeindruckender Detailerhaltung!
IC-Light V2, basierend auf der Flux-Architektur, revolutioniert die Bildverarbeitung. Der 16-Kanal-VAE und die hohe Auflösung ermöglichen eine neue Qualität in Bezug auf Detailerhaltung und Genauigkeit und zeigen eine herausragende Anpassungsfähigkeit.
【AiBase Zusammenfassung:】
✨ Revolutionärer Durchbruch in der Bildverarbeitung: IC-Light V2 nutzt einen 16-Kanal-VAE und hohe Auflösung für einen Leistungssprung und beeindruckende Detailerhaltung.
🌟 Vielseitige Anwendbarkeit: IC-Light V2 ist ein Allround-Tool, das Ölgemälde und Anime-Bilder verarbeiten und dabei die Originalität bewahren kann.
💡 Leistungsstarke Funktionen: IC-Light V2 bietet Funktionen zur Low-Light-Verarbeitung und Schattenkorrektur und unterstützt die Bildnachbearbeitung und professionelle Bildverarbeitung.
Detaillierte Informationen: https://github.com/lllyasviel/IC-Light/discussions/98
3. Schluss mit Synchronsprechern? ByteDance PersonaTalk ermöglicht präzises AI-Synchronsprechen, sogar mit perfekter Wiedergabe von Mimik!
Das neueste KI-Modell von ByteDance, PersonaTalk, ermöglicht präzises Synchronsprechen für Videos. Stimme und Mundbewegung sind perfekt synchronisiert, die Persönlichkeit des Sprechers bleibt erhalten, wodurch das Video natürlicher wirkt. Das Modell verwendet ein zweistufiges Framework mit Aufmerksamkeitsmechanismus und bietet eine hochgradig personalisierte Synchronisation mit exzellenter visueller Qualität. Es gibt jedoch noch Einschränkungen bei der Verarbeitung nicht-menschlicher Avatare und starker Gesichtsausdrücke. ByteDance plant, den Zugriff auf das Kernmodell einzuschränken, um einen Missbrauch der Technologie zu verhindern.
【AiBase Zusammenfassung:】
🔊 Perfekte Synchronisation von Stimme und Mundbewegung: PersonaTalk stellt sicher, dass die Mundbewegungen der Person im Video perfekt mit der neuen Stimme synchronisiert sind.
👤 Persönlichkeitsmerkmale bleiben erhalten: PersonaTalk bewahrt die Persönlichkeit des Sprechers, einschließlich Sprechweise, Gesichtsform und Mimik, um die Natürlichkeit des Videos zu erhalten.
🤖 Vielseitig einsetzbar: PersonaTalk benötigt keine umfangreichen Daten für das separate Training einzelner Personen und ist vielseitig einsetzbar, was Flexibilität und Benutzerfreundlichkeit bietet.
Detaillierte Informationen: https://grisoon.github.io/PersonaTalk/
4. Meta veröffentlicht Open-Source-Projekt LongVU für lange Videos: Filtert redundante Frames und versteht lange Videoclips effizient und präzise
Das Meta AI-Team hat LongVU vorgestellt, einen neuartigen Mechanismus zur zeitlich-räumlichen adaptiven Kompression, der das Sprachverständnis langer Videos verbessern soll. Diese Technologie nutzt DINOv2-Merkmale, um redundante Frames zu entfernen, und erreicht durch crossmodale Abfragen eine selektive Komprimierung der Merkmale. In verschiedenen Benchmarks zum Videoverständnis erzielt es hervorragende Ergebnisse, insbesondere bei der Verarbeitung langer Videos, und übertrifft andere Methoden. Das rasante Wachstum langer Videoclips erfordert effizientere Verarbeitungsmethoden. LongVU eröffnet neue Möglichkeiten im Bereich des multimodalen Verständnisses.
【AiBase Zusammenfassung:】
📽️ LongVU ist ein neuartiger Mechanismus zur zeitlich-räumlichen adaptiven Kompression, der das Sprachverständnis langer Videos verbessern soll.
🔍 Die Technologie nutzt DINOv2-Merkmale, um redundante Frames zu entfernen, und erreicht durch crossmodale Abfragen eine selektive Komprimierung der Merkmale.
🚀 LongVU erzielt in verschiedenen Benchmarks zum Videoverständnis hervorragende Ergebnisse, insbesondere bei der Verarbeitung langer Videos, und übertrifft andere Methoden.
Detaillierte Informationen: https://vision-cair.github.io/LongVU/
5. AI-Latte ist da! Mit Unterstützung von Googles Gemini AI, aber das Rezept wirkt etwas düster
In Manila, Philippinen, hat Commune in Zusammenarbeit mit Google Philippinen den AI-unterstützten Bibingka-Latte vorgestellt, eine Mischung aus traditionellem Festtagsgebäck und moderner Getränkeinnovation. Dieses innovative Getränk vermittelt ein starkes Festtagsgefühl, weckt Erinnerungen an traditionelle Gerichte und zieht Kaffeeliebhaber an.
【AiBase Zusammenfassung:】
☕️ Das Getränk kombiniert Espresso, aufgeschäumte Milch und lokale Zutaten wie Salzeier für einen authentischen Geschmack.
🌿 Perfekte Kombination aus KI-Technologie und Handwerkskunst des Baristas, die das unendliche Potenzial moderner Getränkeinnovationen zeigt.
🤖 Commune zeigt, wie kulturelle Elemente in Produkte integriert werden können, um die Kreativität der Marke bei saisonalen Produkten zu unterstreichen und das Potenzial von KI im Gastronomiebereich zu demonstrieren.
6. Schluss mit dem Fluch der manuellen Annotation! Quwan Technology MaskGCT-Modell trainiert KI mit 100.000 Stunden Daten zum Sprechen
Quwan Technology und die Chinese University of Hong Kong haben das neue Sprachsynthesemodell (TTS) MaskGCT veröffentlicht, das die Funktionsweise traditioneller TTS-Modelle grundlegend verändert und ein selbstlernendes System ohne manuelle Annotation ermöglicht. Das Modell verwendet eine maskierte generative Encoder-Decoder-Transformer-Architektur, die es der KI ermöglicht, die Sprachdauer flexibel zu steuern und eine hochwertige Sprachsynthese mit hoher Ähnlichkeit und guter Rhythmik zu erreichen.
【AiBase Zusammenfassung:】
🔥 Völlig ohne manuelle Annotation, durch Training mit 100.000 Stunden unannotierter Sprachdaten, selbstlernend.
💡 Verwendet eine Transformer-Architektur, um Sprache in semantische Merkmale umzuwandeln und dann akustische Merkmale vorherzusagen, um eine hochwertige Sprachsynthese zu erreichen.
🚀 Kann die Sprachdauer flexibel steuern, verschiedene Sprechstile imitieren und sogar sprachübergreifende Übersetzungen durchführen, mit einer Qualität, die mit der von Menschen vergleichbar ist.
Detaillierte Informationen: https://huggingface.co/spaces/amphion/maskgct
7. Meta veröffentlicht Open-Source-Version von NotebookLM „NotebookLlama“
Meta hat kürzlich NotebookLlama vorgestellt, eine Open-Source-Version der beliebten Podcast-Generierungsfunktion von Googles NotebookLM. Obwohl NotebookLlama hochgeladene Dateien in interaktive Zusammenfassungen im Podcast-Stil umwandeln kann, ist die Qualität der generierten Sprache derzeit noch gering, mit Problemen wie mechanischer Klangqualität und Überlappungen. Von KI generierte Podcasts können immer noch falsche Informationen enthalten, eine allgemeine Herausforderung für alle KI-Projekte.
【AiBase Zusammenfassung:】
🎧 NotebookLlama ist ein von Meta entwickeltes Open-Source-Tool zur Podcast-Generierung, das das Llama-Modell zur Verarbeitung von Benutzerdateien verwendet.
🤖 Das Tool wandelt Text in Zusammenfassungen im Podcast-Stil um, leidet aber unter geringer Sprachqualität, mechanischem Klang und Überlappungen.
📉 Von KI generierte Podcasts können immer noch falsche Informationen enthalten, eine allgemeine Herausforderung für KI-Projekte.
Detaillierte Informationen: https://github.com/meta-llama/llama-recipes/tree/main/recipes/quickstart/NotebookLlama
8. AI-Sprachtranskriptionstool Whisper zeigt schwerwiegende „Halluzinationen“
Kürzlich wurde das auf der OpenAI Whisper-Technologie basierende AI-Transkriptionstool im Gesundheitswesen sehr beliebt, doch Studien zeigen, dass in etwa 1 % der Transkriptionen „Halluzinationen“ auftreten, die sogar Inhalte erfinden. OpenAI arbeitet an der Verbesserung der Tool-Leistung, insbesondere an der Reduzierung von Halluzinationen.
【AiBase Zusammenfassung:】
🌟 Das Whisper-Transkriptionstool wird im Gesundheitswesen weit verbreitet eingesetzt und hat bereits 7 Millionen medizinische Gespräche aufgezeichnet.
⚠️ Studien zeigen, dass Whisper in etwa 1 % der Transkriptionen „Halluzinationen“ aufweist und manchmal sinnlose Inhalte generiert.
🔍 OpenAI arbeitet kontinuierlich an der Verbesserung der Tool-Leistung, insbesondere an der Reduzierung von Halluzinationen.
9. Google entwickelt AI-Tool „Project Jarvis“ zur einfachen Steuerung von Computer und Browser!
Das neueste AI-Tool von Google, „Project Jarvis“, wird die Art und Weise verändern, wie Menschen mit Computern interagieren, und KI-Anwendungen einfacher und bequemer machen. Benutzer können einfach Befehle eingeben, und die KI erledigt verschiedene Online-Aufgaben automatisch, wodurch die Einstiegshürde gesenkt wird. Datenschutz- und Sicherheitsaspekte müssen jedoch berücksichtigt werden, und Google muss verstärkte Schutzmaßnahmen zum Schutz der Benutzerdaten ergreifen.
【AiBase Zusammenfassung:】
🤖 Das von Google entwickelte AI-Tool „Project Jarvis“ kann Browser und Computer steuern und die Arbeitsabläufe vereinfachen.
🖥️ Benutzer können über einfache Befehle Online-Aufgaben automatisch von der KI erledigen lassen, was die Arbeitseffizienz steigert.
🔒 Google muss den Datenschutz und die Sicherheit verbessern und umfassende Maßnahmen zur Bewältigung potenzieller Risiken ergreifen.
10. Apples neues KI-System Ferret-UI2 verbessert die UI-Interaktionserfahrung
Das von Apple veröffentlichte KI-System Ferret-UI2 erzielt einen großen Durchbruch in der Erkennung von UI-Elementen und zeigt eine herausragende Leistung. Das System zeichnet sich durch sein intelligentes Verständnis der Benutzerabsichten und die Möglichkeit aus, über natürliche Sprachbefehle zu interagieren. Die Technologiearchitektur passt sich an verschiedene Plattformen an und bietet intelligente Algorithmen zur Anpassung der Bildauflösung, um die Rechenleistung zu gewährleisten. Im wettbewerbsintensiven Bereich der KI für die UI-Interaktion verbessert Apples CAMPHOR-Framework die Fähigkeit des Systems, komplexe Aufgaben zu bewältigen, und bietet einen Ausblick auf die Zukunft der intelligenten Mensch-Computer-Interaktion.
【AiBase Zusammenfassung:】
🚀 Ferret-UI2 erzielt einen großen Durchbruch in der Erkennung von UI-Elementen, erzielt im Test höhere Werte als GPT-4V und zeigt eine herausragende Leistung.
🔍 Ferret-UI2 verfügt über die Fähigkeit, Benutzerabsichten intelligent zu verstehen und die Benutzeroberfläche über natürliche Sprachbefehle zu bedienen, um die Benutzererfahrung zu verbessern.
⚙️ Die Technologiearchitektur von Ferret-UI2 ist plattformübergreifend anpassungsfähig, und intelligente Algorithmen passen die Bildauflösung an, um die Rechenleistung zu gewährleisten.
11. Cohere präsentiert das erste integrierte Suchmodell für Bilder und Texte, Embed3
