神经搜索创企Jina AI推出8K长文本ColBERT模型jina-ColBERT-v1-en

分类:大语言模型 | 热度:52 ℃

神经搜索公司Jina AI宣布推出jina-ColBERT-v1-en,这是支持8K长文本的ColBERT模型,据了解,jina-ColBERT-v1-en效果可以比肩SOTA的ColBERTv2。目前,colbert和RAGatouille集成已上线。据悉,Jina AI于2020年2月成立,创始人肖涵曾就职于腾讯AI Lab,负责基于深度学习搜索项目研发。

官网地址:https://jina.ai

模型地址:https://huggingface.co/jinaai/jina-colbert-v1-en

Jina-ColBERT 是一款基于 JinaBERT 构建的 ColBERT 类型模型,因此它既支持高达 8000 字符的上下文长度,又能实现快速且精确的检索。JinaBERT 采用了 BERT 架构,并支持 ALiBi 的对称双向变体,以适应更长的序列长度。Jina-ColBERT 模型在 MSMARCO 文档片段排名数据集上进行训练,其训练流程与 ColBERTv2 非常相似。两者之间的唯一区别在于,Jina-ColBERT 使用的是 jina-bert-v2-base-en 作为基础模型,而不是 bert-base-uncased。

神经搜索创企Jina AI推出8K长文本ColBERT模型jina-ColBERT-v1-en

声明: 猎游人 每天为你带来最新的游戏和硬件打折情报,帮你精心挑选值得玩的游戏,让您的钱花的更值!本站信息大部分来自于网友爆料,如果您发现了优质的游戏或好的价格,不妨爆料给我们吧(谢绝任何商业爆料)! 点此爆料

0条评论

Hi,您需要填写昵称和邮箱!
姓名 (必填)
邮箱 (必填)
网站

暂时木有评论