liangofthechen Goto Github PK
Type: User
Type: User
东南大学《知识图谱》研究生课程
ChatPaper综述:本文介绍了一种名为Language augmented CLIP (LaCLIP)的方法,旨在通过语言重写增强CLIP训练。传统的CLIP模型在数据增强时仅针对图像进行操作,而语言输入则在整个训练过程中保持不变,导致模型无法充分接触多样化的文本描述。LaCLIP方法利用大型语言模型的上下文学习能力,对每张图像所对应的文本进行重写,以体现句子结构和词汇的多样性,同时保留原始的关键概念和意义。在训练时,LaCLIP随机选择原始文本或重写版本作为每张图像的文本增强。实验结果表明,使用LaCLIP方法进行CLIP预训练可以显著提高模型的传输性能,而且不会增加额外的计算或内存开销。具体而言,在CC12M数据集上,LaCLIP比CLIP的ImageNet零样本准确率提高了8.2%
Langflow-可视化编辑Langchain Langflow is a UI for LangChain, designed with react-flow to provide an effortless way to experiment and prototype flows.
[cp]多模态生成模型InstructBLIP,多个数据集上达到零样本SOTA,相较于GPT-4还有多种优势Github: https: //github.com/salesforce/LAVIS/tree/main/projects/instructblip Paper: http://t.cn/A6NmpmFB [/cp]
🎉 Repo for LaWGPT, Chinese-Llama tuned with Chinese Legal knowledge. 基于中文法律知识的大语言模型[cp]LaWGPT 是一系列基于中文法律知识的开源大语言模型。 地址:github.com/pengxiao-song/LawGPT 该系列模型在通用中文基座模型(如 Chinese-LLaMA、ChatGLM 等)的基础上扩充法律领域专有词表、大规模中文法律语料预训练,增强了大模型在法律领域的基础语义理解能力。在此基础上,构造法律领域对话问答数据集、**司法考试数据集进行指令精调,提升了模型对法律内容的理解和执行能力。 包括: Legal-Base-7B:法律基座模型,使用 50w 中文裁判文书数据二次预训练 LaWGPT
精益副业:程序员如何优雅地做副业
《李宏毅深度学习教程》,PDF下载地址:https://github.com/datawhalechina/leedl-tutorial/releases
【LexiLaw - 中文法律大模型,旨在提供专业的中文法律咨询服务,并分享在大模型在垂直领域微调的经验,以帮助社区开发更多优质的专用领域的大模型】’LexiLaw - 中文法律大模型'
由GPT4的Advanced Data Analysis功能驱动的人生重来模拟器,给您人生第二春。
这个项目挺有意思的,让 AI 对你进行技术面试,并给出能力评估,帮助你改善不足之处,提高面试通过率。 用户可根据自身能力来选择面试题难度,项目支持自部署。
[cp]【Lit-StableLM:基于nanoGPT的StableLM/Pythia语言模型的可修改实现,支持flash注意力、Int8和GPTQ 4bit量化、LoRA和LLaMA-Adapter微调和预训练】'Lit-StableLM - Implementation of the StableLM/Pythia language models based on nanoGPT. Supports flash attention, Int8 and GPTQ 4bit quantization, LoRA and LLaMA-Adapter fine-tuning, pre-training. Apache 2.0-licensed.' Lightning AI GitHub: git
Running Llama 2 and other Open-Source LLMs on CPU Inference Locally for Document Q&A:在本地CPU上运行Llama 2和其他开源LLM(Large Language Model)以实现文档问答。通过使用LLama 2、C Transformers、GGML和LangChain,可在本地部署开源LLM,减少对第三方提供商的依赖
Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, ChatGLM)Llama- factory,哥们儿师弟的博士生2年级的作品,单卡支持图形化的tuning,多卡可以用命令行做端到端pretrain,sft,dpo啥都支持,欢迎试用,可以帮着冲冲star(马上1万),多提issue[doge][doge][doge];希望国内能涌现出来更多colossal AI
【从头训练(大幅缩减的) Llama 模型:从实验经验中提供了一些建议,包括迭代式的工作方法、模型组件的逐步实现和调试、使用 RMSNorm 等】《Llama from scratch (or how to implement a paper without crying) | Brian Kitano》
JAX implementation of LLaMA, aiming to train LLaMA on Google Cloud TPU 【LLaMA 1/2的JAX实现】’JAX Implementation of LLaMA - JAX implementation of LLaMA, aiming to train LLaMA on Google Cloud TPU' Ayaka GitHub: github.com/ayaka14732/llama-jax
Inference code for Mistral and Mixtral hacked up into original Llama implementation
Port of Facebook's LLaMA model in C/C++ [cp]在树莓派集群运行650亿参数大模型? llama.cpp最新更新加入了基于MPI的分布式推理支持,每个节点可以只进行一部分推理操作,这样用一堆非常老的机器理论上也可以跑超大模型。 感觉LLM分布式共享推理服务有的搞了 github.com/ggerganov/llama.cpp/pull/2099 [/cp]
An Open-source Toolkit for LLM Development LLaMA2-Accessory是一个开源的工具包,用于预训练、微调和部署大语言模型(LLMs)和多模态大语言模型。这个仓库主要继承自LLaMA-Adapter,具有更多高级功能。 地址:github.com/Alpha-VLLM/LLaMA2-Accessory 上海人工智能实验室出品
这段项目可以让你通过PyTorch从头开始训练Llama 2 LLM架构模型,然后将权重保存到一个原始二进制文件中,再将其加载到一个 ~仅有500行的简单C文件(run.c)中,该文件推断模型,目前仅支持fp32。在作者的云Linux开发平台上,一个维度为288的6层6头模型(约15M个参数)推断速度约为每秒100个令牌;在M1 MacBook Air上推断速度也差不多。作者有些惊喜地发现,采用这种简单方法,可以以高度交互的速度运行相当大的模型(几千万个参数)。
Step by step explanation/tutorial of llama2.c
[cp]【llm-analysis:用于计算大型语言模型(LLM)或Transformer模型的训练或推理时延和内存使用的工具。可以根据指定的模型、GPU、数据类型和并行配置估算LLM的时延和内存使用情况。可以帮助回答许多问题,例如确定批量大小、数据类型和并行方案以获得可行且最佳的训练或推理设置。还支持通过命令行界面进行查询,并提供了快速开始指南和示例用法】'llm-analysis - Latency and Memory Analysis of Transformer Models for Training and Inference' Cheng Li GitHub: github.com/cli99/llm-analysis #开源# #机器学习#[/cp]
Numbers every LLM developer should know
对大模型的微调,把预训练模型微调为可对话的模型 地址:github.com/beyondguo/LLM-Tuning 目前支持: --清华 ChatGLM2-6B 的 LoRA 微调 --百川智能 baichuan-7B 的 LoRA 微调 --清华 ChatGLM-6B 的 LoRA 微调
该仓库主要记录 大模型(LLMs) 算法工程师相关的面试题LLMs 千面郎君 - 大模型(LLMs) 算法工程师相关的面试题' km1994 GitHub: github.com/km1994/LLMs_interview_notes
转载微博[cp]【大语言模型新发现!大语言模型在文本到图像合成评估中的威力:LLMScore】 LLMScore是一种全新的框架,能够提供具有多粒度组合性的评估分数。它使用大语言模型(LLM)来评估文本到图像生成模型。首先,将图像转化为图像级别和对象级别的视觉描述,然后将评估指令输入到LLM中,以衡量合成图像与文本的对齐程度,并最终生成一个评分和解释。我们的大量分析显示,LLMScore在众多数据集上与人类判断的相关性最高,明显优于常用的文本-图像匹配度量指标CLIP和BLIP。 详细论文:http://t.cn/A6NkXhLF 源码链接:http://t.cn/A6NkX7LA[/cp]
LongLLaMA is a large language model capable of handling long contexts. It is based on OpenLLaMA and fine-tuned with the Focused Transformer (FoT) method.
Embedding service base on m3e model
Macaw-LLM,一个试验性的开源的多模态语言模型 地址:github.com/lyuchenyang/Macaw-LLM Macaw-LLM是一项探索性的努力,它通过无缝地结合图像、视频、音频和文本数据,开创了多模态语言建模。它基于多个已有的开源项目,包括: CLIP:负责编码图像和视频帧。 Whisper:负责编码音频数据。 LLM(LLaMA/Vicuna/Bloom):负责编码指令和生成响应的语言模型。
Official Pytorch Implementation for MathGLM 同学们写了一个MathGLM paper,网页链接,在数学的数据上训练了一下,只需要20亿参数,数学任务可以做得很好,也不需要去overfitting榜单,甚至超过GPT-4。不过。。。。。。怎么说呢,模型一下子变成了一个专用模型,通用能力减弱了。。。。算是一个探索性工作,模型和代码也开源出来了在github上,所有的结果可以重现
🌟 The Multi-Agent Meta Programming Framework: Given one line Requirement, return PRD, Design, Tasks, Repo
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.