Wer auf AI-Konferenzen in diesen Wochen unterwegs ist, trifft dort auch immer Jukka Korpi. Der Finne arbeitet für Silo AI – das nach eigenen Aussagen größte private AI-Labor in Europa. Die Nordeuropäer wollen die europäische Industrie für ihr Modell Poro begeistern. Zuletzt eröffneten sie in München ihr erstes Büro. Und auch technologisch geht es bei den Finnen voran. Das Training für Poro konnte erfolgreich abgeschlossen werden.
Dies ist ein wichtiger Schritt für SiloGen, die Abteilung für generative KI des Unternehmens, und seine Bemühungen, die digitale Souveränität Europas zu stärken und den Zugang zu großen Sprachmodellen (LLMs) für alle europäischen Sprachen zu demokratisieren. Das Modell demonstriert die erfolgreiche Anwendung einer neuen Methode für das Training von LLMs für Sprachen mit begrenzten Ressourcen.
Silo AI und TurkuNLP entwickeln eine Familie von mehrsprachigen Open Source LLMs mit dem Ziel, die digitale Souveränität Europas zu stärken und den Zugang zu LLMs zu demokratisieren. Die Entwicklung von Basismodellen, die im Einklang mit den europäischen Werten stehen, ist für diese Bemühungen von entscheidender Bedeutung, um sicherzustellen, dass sie auf Daten und Informationen basieren, die die verschiedenen Sprachen, Bürger, Organisationen und die kulturelle Landschaft der Europäischen Union genau repräsentieren. Dieser Ansatz steht nicht nur im Einklang mit den europäischen Werten, sondern ermöglicht auch die Souveränität darüber, wie nachgelagerte Anwendungen und Werte geschaffen werden.
Ein erprobter Ansatz für die Entwicklung leistungsfähiger LLM für Sprachen mit begrenzten Ressourcen
Die Fertigstellung von Poro dient als Proof of Concept für einen innovativen Ansatz zur Erstellung von KI-Modellen für Sprachen mit geringen Ressourcen. Poro übertrifft alle existierenden offenen Sprachmodelle für Finnisch, darunter FinGPT, Mistral, Llama und das 176-Milliarden-Parameter-Modell BLUUMI.
Aber sie suchen nicht einmal den Vergleich mit anderen LLMs. In einem LinkedIn-Post antwortete Korpi: "Ich bin mir nicht sicher, ob es Sinn macht, Poro direkt mit diesen Modellen zu vergleichen. Ich denke, die Frage sollte sein, wie diese Modelle kosteneffizient in industriellen Anwendungsfällen eingesetzt werden können. Dabei geht es um Kosten, Latenzzeiten und die Möglichkeit, das Modell an eine bestimmte Sprache und einen bestimmten Anwendungsfall anzupassen. In einigen Fällen wird die Industrie auch kleinere Modelle benötigen, um Inferenzen außerhalb des Netzwerks durchführen zu können. Dies ist der Silo-Ansatz der KI.”
Zurück zur Technologie. Der Erfolg wurde der Kombination der ressourcenarmen finnischen Sprache mit ressourcenreichen Sprachen zugeschrieben. Das Team arbeitete daran, die optimale Häufigkeit der Wiederverwendung von Daten für ressourcenarme Sprachen während des Trainings zu bestimmen, und integrierte übersetzte Textpaare aus dem Englischen und Finnischen. Diese Strategie, die sich auf ein sprachübergreifendes Signal stützt, um das Verständnis des Modells für die Beziehungen zwischen den Sprachen zu verbessern, erwies sich als entscheidend für das Erreichen einer hervorragenden Leistung in den ressourcenarmen Sprachen, ohne die Leistung im Englischen zu beeinträchtigen.
Die Fertigstellung von Poro ist ein Beispiel für das Engagement von Silo AI, KI-Modelle für Sprachen mit begrenzten Ressourcen voranzutreiben. Die Veröffentlichung von Poro als Open-Source-Modell erleichtert den breiten Zugang und die gemeinschaftliche Verbesserung, insbesondere für unterrepräsentierte europäische Sprachen. Dieser Ansatz bereichert die KI-Gemeinschaft, stellt eine wertvolle Ressource für Forschung und Entwicklung dar und spiegelt das bewusste Bestreben wider, die sprachliche Vielfalt in KI-Anwendungen zu erhöhen. Das ist der erste Schritt in den Bemühungen von SiloGen, hochmoderne LLMs für alle EU-Amtssprachen auszubilden.
Und Silo AI kommt zur HANNOVER MESSE - Jukka Korpi kommt zur Messe. Er wird am Dienstag auf der Industrial Transformation Stage sprechen.
www.hannovermesse.de
