Initial commit

Dockerfile

+FROM image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04
\ No newline at end of file

Kimi_VL_inference.py

+from PIL import Image
+import torch
+from transformers import AutoModelForCausalLM, AutoProcessor
+
+model_path = "moonshotai/Kimi-VL-A3B-Instruct"
+model = AutoModelForCausalLM.from_pretrained(
+    model_path,
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+    trust_remote_code=True,
+)
+processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
+
+image_path = "/XXX/XXX.jpg"
+image = Image.open(image_path)
+messages = [
+    {"role": "user", "content": [{"type": "image", "image": image_path}, {"type": "text", "text": "Ocr this image."}]}
+]
+text = processor.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
+inputs = processor(images=image, text=text, return_tensors="pt", padding=True, truncation=True).to(model.device)
+generated_ids = model.generate(**inputs, max_new_tokens=1024)
+generated_ids_trimmed = [
+    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
+]
+response = processor.batch_decode(
+    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
+)[0]
+print(response)
+

README.md

+# Kimi-VL-A3B-Instruct
+## 论文
+
+[Kimi-VL Technical Report](https://arxiv.org/abs/2504.07491)
+
+
+## 模型结构
+
+它的语言模型部分，采用了我们前一段时间发布的轻量级 MoE 模型 Moonlight，16B总参数，2.8B激活参数。视觉信息处理部分，采用了支持原生分辨率的 MoonViT 编码器——400M 参数 Vison Transformer 架构。该模型采用MoE语言模型、原生分辨率视觉编码器（MoonViT）和MLP投影仪。
+
+<div align=center>
+    <img src="./Pic/arch.png"/>
+</div>
+
+## 算法原理
+
+ViT是Google团队提出的将Transformer应用在图像分类的模型。ViT将输入图片分为多个patch（16x16），再将每个patch投影为固定长度的向量送入Transformer，后续encoder的操作和原始Transformer中完全相同。但是因为对图片分类，因此在输入序列中加入一个特殊的token，该token对应的输出即为最后的类别预测
+
+<div align=center>
+    <img src="./Pic/theory.png"/>
+</div>
+
+## 环境配置
+### Docker（方法一）
+推荐使用docker方式运行， 此处提供[光源](https://www.sourcefind.cn/#/service-details)拉取docker镜像的地址与使用步骤
+```
+docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04
+
+docker run -it --shm-size=1024G -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal:/opt/hyhal --network=host --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name kimi-vl  <your IMAGE ID> bash # <your IMAGE ID>为以上拉取的docker的镜像ID替换
+
+git clone http://developer.sourcefind.cn/codes/modelzoo/kimi-vl-a3b-instruct_pytorch.git
+
+cd /path/your_code_data/
+
+pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
+
+```
+Tips:以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应。
+
+### Dockerfile（方法二）
+此处提供dockerfile的使用方法
+```
+docker build -t internvl:latest .
+docker run --shm-size 500g --network=host --name=kimi-vl --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址(绝对路径):/home/ -v /opt/hyhal:/opt/hyhal:ro -it <your IMAGE ID> bash
+
+
+git clone http://developer.sourcefind.cn/codes/modelzoo/kimi-vl-a3b-instruct_pytorch.git
+
+cd /path/your_code_data/
+
+pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
+
+```
+### Anaconda（方法三）
+此处提供本地配置、编译的详细步骤，例如：
+
+关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.hpccube.com/tool/)开发者社区下载安装。
+```
+DTK驱动:dtk24.04.3
+python:3.10
+torch:2.3.0
+transformers>=4.48.0
+```
+`Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应`
+
+其它非深度学习库参照requirement.txt安装：
+```
+
+git clone http://developer.sourcefind.cn/codes/modelzoo/kimi-vl-a3b-instruct_pytorch.git
+
+cd /path/your_code_data/
+
+pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
+```
+## 数据集
+
+无
+
+## 训练
+
+无
+
+## 推理
+
+### 单机单卡
+
+```
+python Kimi_VL_inference.py
+```
+
+### 单机多卡
+
+```
+CUDA_VISIBLE_DEVICES=0,1,2,3 python Kimi_VL_inference.py
+```
+
+## result
+
+
+<div align=left>
+    <img src="./Pic/result.png"/>
+</div>
+
+### 精度
+
+无
+
+
+
+## 应用场景
+
+### 算法类别
+
+`对话问答`
+
+### 热点应用行业
+
+`科研,教育,政府,金融`
+
+## 预训练权重
+
+
+HF/github下载地址为：[moonshotai/Kimi-VL-A3B-Instruct](https://huggingface.co/moonshotai/Kimi-VL-A3B-Instruct)
+
+魔搭下载路径：
+- [moonshotai/Kimi-VL-A3B-Instruct](https://www.modelscope.cn/models/moonshotai/Kimi-VL-A3B-Instruct/files)
+
+## 源码仓库及问题反馈
+-  http://developer.sourcefind.cn/codes/modelzoo/kimi-vl-a3b-instruct_pytorch.git
+
+## 参考资料
+
+- https://github.com/MoonshotAI/Kimi-VL
+

finetune.sh

+CUDA_VISIBLE_DEVICES=0,1,2,3 \
+swift sft \
+    --model "OpenBMB/MiniCPM-V-2_6" \
+    --dataset AI-ModelScope/LaTeX_OCR:human_handwrite#20000 \
+    --train_type lora \
+    --torch_dtype bfloat16 \
+    --num_train_epochs 0.1 \
+    --per_device_train_batch_size 1 \
+    --per_device_eval_batch_size 1 \
+    --learning_rate 1e-4 \
+    --lora_rank 8 \
+    --lora_alpha 32 \
+    --target_modules all-linear \
+    --freeze_vit true \
+    --gradient_accumulation_steps 16 \
+    --eval_steps 50 \
+    --save_steps 50 \
+    --save_total_limit 5 \
+    --logging_steps 5 \
+    --max_length 2048 \
+    --output_dir output \
+    --warmup_ratio 0.05 \
+    --dataloader_num_workers 4

model.properties

+# 模型唯一标识
+modelCode=1497
+# 模型名称
+modelName=Kimi-VL-A3B-Instruct_pytorch
+# 模型描述
+modelDescription=Kimi-VL-A3B-Instruct 是由月之暗面发布的多模态视觉语言模型，在多模态推理和智能体能力方面表现突出。
+# 应用场景
+appScenario=推理,对话问答,科研,教育,政府,金融
+# 框架类型
+frameType=Pytorch

requirements.txt

+torch
+torchvision
+transformers>=4.45.0
+pillow
+tiktoken
+accelerate
+blobfile