Zeigt das Ranking der Gesamtbesuche von KI-Websites
Verfolgen Sie die am schnellsten wachsenden KI-Websites nach Traffic
Konzentrieren Sie sich auf KI-Websites mit signifikanten Traffic-Einbrüchen
Zeigt das wöchentliche Besuchsranking von KI-Websites
Ranking der Gesamtbesuche von KI-Bildgenerierungs-Websites
Ranking der Gesamtbesuche von KI-Websites für persönliche Assistenten
Ranking der Gesamtbesuche von KI-Websites zur Charaktergenerierung
Ranking der Gesamtbesuche von KI-Videogenerierungs-Websites
PyTorch 2.1 wurde veröffentlicht und bietet eine 35-fach schnellere Kompilierung sowie ExecuTorch für die KI-Bereitstellung auf mobilen Geräten. Die neue Version enthält zahlreiche Leistungsverbesserungen und Unterstützung für Quantisierung.
NumPy-Code kann mit torch.compile in C++/CUDA kompiliert werden, was zu einer erheblichen Leistungssteigerung führt. Obwohl der Python-Anteil gestiegen ist, ist die Ausführungsgeschwindigkeit um ein Vielfaches schneller.
Willkommen im Bereich [KI-Tagesbericht]! Hier ist Ihr Leitfaden, um jeden Tag die Welt der künstlichen Intelligenz zu erkunden. Jeden Tag präsentieren wir Ihnen die Hotspots im KI-Bereich, konzentrieren uns auf Entwickler und helfen Ihnen, technologische Trends zu erkennen und innovative KI-Produktanwendungen zu verstehen.
Das japanische KI-Startup Sakana AI hat den "AI CUDA Engineer" vorgestellt, ein innovatives KI-System zur automatisierten Erstellung hochoptimierter CUDA-Kerne, wodurch die Effizienz von Machine-Learning-Operationen deutlich gesteigert wird. Laut aktuellen Meldungen auf X beschleunigt das System, angetrieben von einer evolutionären Large Language Model (LLM)-basierten Codeoptimierungstechnologie, die Ausführungsgeschwindigkeit gängiger PyTorch-Operationen um das 10- bis 100-fache. Dies markiert einen bedeutenden Fortschritt der KI-Technologie im Bereich der GPU-Beschleunigung.
Kürzlich haben Cybersicherheitsforscher entdeckt, dass zwei bösartige Machine-Learning-Modelle heimlich auf der bekannten Machine-Learning-Plattform Hugging Face hochgeladen wurden. Diese Modelle verwenden eine neuartige Technik, bei der beschädigte Pickle-Dateien verwendet werden, um Sicherheitsüberprüfungen zu umgehen, was Anlass zur Sorge gibt. Karlo Zanki, Forscher bei ReversingLabs, weist darauf hin, dass der Anfang der aus diesen PyTorch-Archiven extrahierten Pickle-Dateien darauf hindeutet...
Das in New York ansässige KI-Unternehmen Lightning AI hat kürzlich eine neue Finanzierungsrunde in Höhe von 50 Millionen US-Dollar abgeschlossen. Zu den Investoren dieser Runde gehören namhafte Unternehmen wie Cisco Investments, JPMorgan Chase, K5 Global und NVIDIA. Damit beläuft sich die Gesamtfinanzierung von Lightning AI auf 103 Millionen US-Dollar. Unter der Leitung des Gründers und CEO William Falcon hat Lightning AI mit seinem Deep-Learning-Framework PyTorch Lightning...
Dem PyTorch-Team ist es gelungen, die Inferenzgeschwindigkeit von Llama7B um das Zehnfache zu steigern – und das mit weniger als 1000 Zeilen nativem PyTorch-Code. Die erreichte Geschwindigkeit beträgt 244,7 tok/s. Die Optimierungen umfassen die Verwendung von torch.compile aus PyTorch 2.0, GPU-Quantisierung, spekulative Decodierung, Tensor-Parallelität und die Verwendung unterschiedlicher Genauigkeiten bei der Gewichtsquantisierung (z. B. int8 und int4).
Der PyTorch-Blogbeitrag "Accelerating Generative AI with PyTorch II: GPT, Fast" beschreibt detailliert, wie generative KI-Modelle mit nativem PyTorch beschleunigt werden können. Durch Torch.compile und statischen KV-Cache werden CPU-Overhead reduziert und die Modellgeschwindigkeit um fast das 10-fache gesteigert. Die INT8-Quantisierung nur für Gewichte lindert Engpässe bei der Speicherbandbreite, was zu einer weiteren deutlichen Leistungssteigerung führt. Durch die Verwendung von spekulativer Dekodierung wird die serielle Verarbeitung durchbrochen.
Das PyTorch-Team hat durch das Umschreiben des SAM-Modells von Meta eine 8-fache Beschleunigung bei gleichbleibender Genauigkeit erreicht. Die Optimierung umfasst die Anwendung verschiedener PyTorch-Funktionen wie Bfloat16, GPU-Synchronisationsoptimierungen und Torch.compile. Der Artikel beschreibt detailliert die Leistungsanalyse des SAM-Modells, die Lösung von Engpässen und die Verwendung neuer Funktionen wie der SDPA-Technologie. Durch das Umschreiben des SAM-Modells und Techniken wie Pruning wurde das Problem der Matrixmultiplikation als Engpass behoben, was zu einer deutlichen Leistungssteigerung führte.
Huawei ist Primer-Mitglied der PyTorch Foundation geworden und fördert damit die Entwicklung der künstlichen Intelligenz. Huawei war schon lange ein Unterstützer und Mitwirkender des PyTorch-Ökosystems. Der Beitritt zur PyTorch Foundation beschleunigt die Entwicklung der Community. Huawei hat eine umfassende KI-Strategie veröffentlicht, die mit der Mission der PyTorch Foundation übereinstimmt.
OpenLM ist eine PyTorch-Bibliothek, die auf das Training von mittelgroßen Sprachmodellen ausgerichtet ist. Herausragende Ergebnisse wurden durch das Training der beiden Sprachmodelle OpenLM-1B und OpenLM-7B erzielt. OpenLM-1B zeigte eine hervorragende Leistung in Null-Shot-Textklassifizierungs- und Multiple-Choice-Aufgaben. OpenLM-7B verbesserte seine Null-Shot-Leistung kontinuierlich während des Trainings. Zukünftige Arbeiten umfassen die Unterstützung multimodaler Modelle, Mixture-of-Experts und Datenmengenkombinationen sowie die Erweiterung von OpenLM.