Описание
FLM101B: инструмент с открытым исходным кодом для анализа, создания, сборки и обучения моделей на китайском и английском тексте.
Представляем FLM101B — открытую декодерную языковую модель (LLM) с колоссальными 101 миллиардом параметров. Используя технику роста, модель начинает обучение на базе меньшего масштаба в 16 миллиардов параметров, а затем быстро масштабируется до экономически эффективного уровня в 101 миллиард, обеспечивая непревзойденную точность и производительность. Более того, она поддерживает как английский, так и китайский языки, имеет длину контекстного окна в 2048 токена при обучении и использует расширяемую xPos ротационную позиционную эмбеддингтехнику для вывода.
Ключевые особенности:
- Открытая декодерная LLM с 101 миллиардом параметров.
- Применена техника роста для обучения.
- Длина контекстного окна — 2048 и xPos ротационная позиционная эмбеддинг для вывода.
- Поддержка как китайского, так и английского языков.
FLM101B — идеальный инструмент ИИ для широкого спектра задач: от анализа текста и машинного обучения до создания текстов и тренировки моделей. Его невероятно большое количество параметров и эффективное масштабирование делают его экономически выгодным выбором для крупных проектов, а поддержка двух языков и технология xPos предоставляют мощный набор функций прямо у вас под рукой. С FLM101B у вас есть все необходимые инструменты, чтобы вывести вашу работу с ИИ на новый уровень.
