RK3588-Camera:MIPI-CSI调试之通路解析
一、简介
专栏总目录
本文介绍RK3588平台的Camera:MIPI-CSI调试之通路解析
MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface 简称MIPI)联盟。MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。
【资料图】
目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化,从而减少手机设计的复杂程度和增加设计灵活性。
CSI & DSI
• CSI ( Camera Serial Interface ):摄像头接口
• DSI ( Display Serial Interface ):显示接口
二、 名词解释:
ISP ( Image Signal Processor ): 即图像信号处理模块, 主要作用是对前端图像传感器输出的信号做后期处理,依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节。VICAP( Video capture ):视频捕获单元三、RK3588 的camera通路:
多sensor支持:
单路硬件isp最多支持4路复用,isp复用情况支持分辨率如下:2路复用:最大分辨率3840x2160,dts对应配置2路rkisp_vir设备。3路或4路复用:最大分辨率2560x1536,dts对应配置3或4路rkisp_vir设备。硬件支持最多采集7路sensor:6mipi + 1dvp,多sensor软件通路如下:下图是RK3588 camera连接链路示意图,可以支持7路camera。
四、 链路解析:
图中:mipi camera2---> csi2_dphy1 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
对应节点:imx415 ---> csi2_dphy0 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
链接关系:sensor---> csi2 dphy---->mipi csi host--->vicap
实线链路解析: Camera sensor ---> dphy ---> 通过mipi_csi2模块解析mipi协议---> vicap ( rkcif节点代表vicap )
虚线链路解析:vicap ---> rkcif_mipi_lvds2_sditf ---> isp
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
五、RK3588硬件通路框图
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。六、详细解析:
imx415 : Camera sensorcsi2_dphy0 : rk3588支持2个dphy硬件,这里我们称之为dphy0_hw/dphy1_hw ,,两个dphy硬件都可以工作在full mode 和split mode两种模式下。当使用dphy0_hw:
full mode:节点名称使用csi2_dphy0,最多支持4 lane。当dphy0_hw使用full mode时,链路需要按照csi2_dphy1这条链路来配置,但是节点名称csi2_dphy1需要修改为csi2_dphy0,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy1(使用0/1 lane)、csi2_dphy2(使用2/3 lane),每个phy最多支持2 lane。当使用dphy1_hw:
full mode:节点名称使用csi2_dphy3,最多支持4 lane。当dphy1_hw使用full mode时,链路需要按照csi2_dphy4这条链路来配置,但是节点名称csi2_dphy4需要修改为csi2_dphy3,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy4(使用0/1 lane)、csi2_dphy5(使用2/3 lane),每个phy最多支持2 lane。dcphy:rk3588支持两个dcphy,节点名称分别为csi2_dcphy0/csi2_dcphy1。每个dcphy硬件支持RX/TX同时使用,对于camera输入使用的是RX。支持DPHY/CPHY协议复用;需要注意的是同一个dcphy的TX/RX只能同时使用DPHY或同时使用CPHY。其他dcphy参数请查阅rk3588数据手册。
使用上述mipi phy节点,需要把对应的物理节点配置上。(csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw)
每个mipi phy都需要一个csi2模块来解析mipi协议,节点名称分别为mipi0_csi2~mipi5_csi2。
rk3588所有camera数据都需要通过vicap,再链接到isp。rk3588仅支持一个vicap硬件,这个vicap支持同时输入6路mipi phy,及一路dvp数据,所以我们将vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7个节点,各个节点的绑定关系需要严格按照框图的节点序号配置。
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。
直通与回读模式:•直通:指数据经过vicap采集,直接发送给isp处理,不存储到ddr。需要注意的是hdr直通时,只有短帧是真正的直通,长帧需要存在ddr,isp再从ddr读取。
•回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。
•在dts配置时,一个isp硬件,如果只配置一个虚拟节点,默认使用直通模式,如果配置了多个虚拟节点默认使用回读模式。
七、单路Camera的dts配置说明:( 以imx415摄像头为例 )
案例场景:这里使用的是csi2_dphy0的单路camera配置:链路配置: imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2&i2c3 {status = "okay";imx415: imx415@1a {status = "okay";compatible = "sony,imx415";reg = < 0x1a >;clocks = < &cru CLK_MIPI_CAMARAOUT_M3 >;clock-names = "xvclk";pinctrl-names = "default";pinctrl-0 = < &mipim0_camera3_clk >;power-domains = < &power RK3588_PD_VI >;pwdn-gpios = < &gpio1 RK_PB0 GPIO_ACTIVE_HIGH >;reset-gpios = < &gpio4 RK_PA0 GPIO_ACTIVE_LOW >;rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "CMK-OT2022-PX1";rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";port {imx415_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam0 >;data-lanes = < 1 2 3 4 >;};};};camera_imx219: camera-imx219@10 {status = "disabled";compatible = "sony,imx219";reg = < 0x10 >;clocks = < &clk_cam_24m >;clock-names = "xvclk";rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "rpi-camera-v2";rockchip,camera-module-lens-name = "default";port {imx219_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam1 >;data-lanes = < 1 2 >;};};};};&csi2_dphy0_hw {status = "okay";};&csi2_dphy0 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipidphy0_in_ucam0: endpoint@1 {reg = < 1 >;remote-endpoint = < &imx415_out0 >;data-lanes = < 1 2 3 4 >;};mipidphy0_in_ucam1: endpoint@2 {reg = < 2 >;remote-endpoint = < &imx219_out0 >;data-lanes = < 1 2 >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;csidphy0_out: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi2_csi2_input >;};};};};&mipi2_csi2 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_input: endpoint@1 {reg = < 1 >;remote-endpoint = < &csidphy0_out >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_output: endpoint@0 {reg = < 0 >;remote-endpoint = < &cif_mipi2_in0 >;};};};};&rkcif {status = "okay";};&rkcif_mipi_lvds2 {status = "okay";port {cif_mipi2_in0: endpoint {remote-endpoint = < &mipi2_csi2_output >;};};};&rkcif_mipi_lvds2_sditf {status = "okay";port {mipi_lvds2_sditf: endpoint {remote-endpoint = < &isp0_vir0 >;};};};&rkcif_mmu {status = "okay";};&rkisp0 {status = "okay";};&isp0_mmu {status = "okay";};&rkisp0_vir0 {status = "okay";port {#address-cells = < 1 >;#size-cells = < 0 >;isp0_vir0: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi_lvds2_sditf >;};};};&pinctrl {camera {cam_pwdn_gpio: cam-pwdn-gpio {rockchip,pins = < 1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up >;};};};
八、 调试技巧
8.1 i2c设备的通用调试命令:查看设备是否挂载到i2c总线下:
i2cdetect -y 3
8.2 摄像命令
Linux系统摄像命令:gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160, framerate=30/1 ! xvimagesink
Android系统:
Android系统自带相机APP。点击APP,看摄像画面是否正常显示。
8.3 imx415 相关的log信息
dmesg | grep imx415
8.4 查看拓扑结构
media-ctl -d /dev/media0 -p
审核编辑:汤梓红
标签:
为您推荐
广告
- RK3588-Camera:MIPI-CSI调试之通路解析
- 快资讯丨简易逐帧动画(简单的逐帧动画素材)
- 华为获转让问界商标:可用于汽车等 环球观察
- 西安高新区2023“文化和自然遗产日”主题活动启动
- win7系统怎么还原网络设置 win7系统怎么还原_天天通讯
- 全球热点!商用四年,中国5G走向“无人区”
- 百度智能云技术交流会:文心一言推理性能10倍提升、Turbo服务性能增长50倍
- TheShy素质三连图火了,爆笑流酒桶登场,撞墙空大,随后拿下MVP_环球观焦点
- cf空白名字代码2022_cf空白名字代码
- 2023端午节股市休市几天_天天速看料
- 保卫萝卜4周赛6.10攻略 2023年6月10日西游周赛图文过关一览[多图]-今日最新
- 赣r是江西哪里的车牌号(上饶车牌号是赣什么?)
- 中超:大连人2:2战平北京国安
- 天天上热搜,换了团队的杨紫真的不土了吗?_当前热文
- 四川阿坝州茂县发生3.2级地震-当前热闻
- 古老沣河涌动新活力-观热点
- 企业注销股东会决议简单范本(企业注销股东会决议书) 天天新要闻
- 观察:《底特律》发行商公布独立品牌:三款游戏待发售
- 全球今亮点!张建坤深入高考点巡查护考护安情况
- 6月15日起可报名2023年法考客观题考试_世界观天下
- 1快报:高质量发展调研行 | 在智慧港口见证大湾区经济活力——广州南沙港走访一线见闻
- 2国铁:今起12306试行在线选铺服务 想要下铺以后要拼手速啦!
- 3容量4500mAh、充电25W!三星Galaxy S23 FE电池曝光 当前看点
- 4焦点要闻:特朗普私藏机密文件案起诉书公布 辩护律师同日宣布辞职
- 5世界观察:知识落“地”助丰收 耕地质量提升示范田小麦增产53.6%
- 6世界微资讯!学制苗族银饰 传承非遗之美
- 7刘东伟会见英国伦敦金融城市长|天天观焦点
- 8各地税务部门不断优化服务 前5个月新办涉税经营主体643.5万户
- 9端午机票价格较五一降20% 你会选择端午期间出游吗? 环球消息
- 10丸碧实体店高品质产品让你拥有明星同款弹嫩少女肌|每日快讯
- 1每日短讯:在铁路12306买卧铺票也可以在线选铺位了!手把手教你怎么操作
- 2全球今亮点!如何保护墓葬壁画?敦煌研究院院长揭秘关键技术
- 3“五彩湘茶”九大品牌进京推介,与合作茶企达成产销对接
- 4卖果丹皮偶遇淄博八大局书画大师出摊获赠招牌 网友:招牌最值钱
- 5当前热讯:极目帮办丨武汉一小区房屋渗水影响居住,社区称与物业公司协调处理
- 6AI前哨 | OpenAI联合创始人Sam Altman:安全性很重要 不会很快有GPT-5_环球报资讯
- 7三人团伙流窜多省数次抢劫,潜江公安千里追缉将人抓获
- 8每日热文:江苏考生最爱报哪个专业?去哪里上学?大数据分析报告来了!
- 9如何养殖肉鹿(这篇文章说清楚了)|独家
- 10电影《变形金刚:超能勇士崛起》总票房破1亿 天天最资讯
广告
- 海洋科学专业就业前景(海洋科学专业)-观察
- 湖北襄阳:古风市集引客来 资讯
- 氢能观察:蓝氢成本暴涨、绿氢供应激增!_世界观速讯
- 蚊子有多少颗牙齿脑筋急转弯_蚊子有多少了颗牙齿_每日信息
- 加泰媒体:此前向梅西提供报价的欧洲俱乐部是纽卡和国米
- 证监会重磅发布!影响上亿基民
- 问界M5智驾版亮相,比亚迪F品牌定名方程豹|第一财经汽车日评 当前视讯
- 建筑电气照明技术与应用 头条
- 环球动态:第二波来袭|还没有得到交警小熊的行动起来吧~
- 2023年6月9日五水硫酸铜价格最新行情预测
- 央行:一季度末金融业机构总资产439.33万亿元 同比增长10.8%
- 未雨绸缪下好防讯“先手棋”
- 速递!今年高考命题情况如何?突出综合素养和能力考查
- 临港新片区举行QFLP基金项目集中签约
- 同位素的概念什么是同分异构体_同位素的概念
- 亿田智能:6月8日融资买入1922.16万元,融资融券余额7895.98万元
- 霍普股份聘任何亮为董秘 世界快消息
- 黄海波犯了什么事_黄海波犯了什么罪_天天微速讯
- 天天亮点!知青回乡探亲
- 欧盟调派近300名消防员支援加拿大应对野火|全球要闻