pmarca分享基於歷史文本訓練的33億參數模型資訊

robot
摘要生成中

ME News 消息,4 月 3 日(UTC+8),近日,知名人士pmarca在社交媒體上分享了一則關於模型預訓練的資訊。根據其分享的內容,該模型的預訓練語料庫使用了來自Huggingface和Internet Archive的、1900年1月1日之前的美國和英國書籍與報紙。經過大量過濾後,約220億個token被彙編成訓練語料庫。文中提到,該模型的最佳檢查點是一個33億參數模型。pmarca表示,自2022年12月1日起,他就一直期待此類事物。(來源:InFoQ)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言