. 用pix玩车非常简单,复杂度远远低于无人机;
2. 不管是ardupilot,还是px4固件都是原生支持无人车,不需要做任何代码改动的二次开发,需要做的就是参数修改和传感器校准;
3. ardupilot需要刷成ardurover固件,这个固件同时也支持船。
a. 输出1通道接舵机是车辆转向
b. 输出3通道接电调,控制油门动力
4. px4固件没有特定的固件,只需要改改机架到对应的车辆即可(SYS_AUTOSTART=50000)
a. 输出2通道接转向舵机
b. 输出4通道接无刷电调
5. 陀螺仪,罗盘校准,这些和无人没有差别。
6. 解锁电机,默认手动模式,可以设置多个模式 比如返航,自动等;
给飞控用串口接上带摄像头的树莓派,这样一个智能车就跑起来了,还带图传和数传, 如果再给树莓派接一个带sim卡的usb无线网卡 ,这样一个带4G的智能小车了。
参考文档:
https://docs.px4.io/main/en/frames_rover/traxxas_stampede.html
https://ardupilot.org/rover/docs/gettit.html
基于单片机的机器视觉人体识别小车
智能小车应用变得越来越重要,它不仅是能够把代码与实践连接起来的简单实例,而且在即将到来的智能时代,也将是最先广泛使用的智能产品。
本项目基于AI视觉和嵌入式小车结合的项目。视觉识别是一个主要内容,是信息输入的重要方式。因此,AI视觉和机器小车的互相配合加持对实际生产生活具有很大的意义。
实现了控制小车行进,并实时检测人体目标。
图片是用fritzing这个软件画的,也是今天第一次用,画的有点丑,凑合看吧。我没有找到L298N这个模块,就用图中红色的这个代替一下吧。
我的马达控制逻辑比较简单,小车左右两侧的马达为一组同时控制,小车左边两个马达正负极分别连在out1、out2接口上,右边两个马达正负极分别连在out3、out4上,通过给out1和out2,out3和out4输出相反的电平实现马达的转动,采用BOARD编码格式,使用35、33、31、29四个GPIO接口分别连接到L298N驱动模块上的in1、in2、in3、in4接口,同时将32、36、38、40分别连接到四个使能端接口,通过python编程设置gpio接口输出高电平和低电平实现相应的控制,蜂鸣器连接到gpio的11号端口上。
根据自己NVIDIA显卡型号和驱动版本安装CUDA和CUDNN
1、官网下载:https://developer.nvidia.com/cuda-90-download-archive
如下:
2、安装依赖库
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev否则将会报错:
3、注意C++\G++版本
CUDA9.0要求GCC版本是5.x或者6.x,其他版本不可以,需要自己进行配置,通过以下命令才对gcc版本进行修改。
查看版本:
g++ --version版本安装:
sudo apt-get install gcc-5
sudo apt-get install g++-5通过命令替换掉之前的版本:
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 50
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 50最后记得再次查看版本是否修改成功。
4、运行run文件
sudo sh cuda_9.0.176_384.81_linux.run安装协议可以直接按q跳到最末尾,注意一项:
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 384.81?
(y)es/(n)o/(q)uit: n # 安装NVIDIA加速图形驱动程序,这里选择n5、添加环境变量
进行环境的配置,打开环境变量配置文件
sudo gedit ~/.bashrc在末尾把以下配置写入并保存:
#CUDA
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}最后执行:
source ~/.bashrc本文训练数据集包括从VOC数据集中提取出6095张人体图片,以及使用LabelImg工具标注的200张python爬虫程序获取的人体图片作为补充。
使用labelimg标记图片
从VOC数据集里提取出人体图片
import os
import os.path
import shutil
fileDir_ann="D:\\VOC\\VOCdevkit\\VOC2012\\Annotations"
fileDir_img="D:\\VOC\\VOCdevkit\\VOC2012\\JPEGImages\\"
saveDir_img="D:\\VOC\\VOCdevkit\\VOC2012\\JPEGImages_ssd\\"
if not os.path.exists(saveDir_img):
os.mkdir(saveDir_img)
names=locals()
for files in os.walk(fileDir_ann):
for file in files[2]:
saveDir_ann="D:\\VOC\\VOCdevkit\\VOC2012\\Annotations_ssd\\"
if not os.path.exists(saveDir_ann):
os.mkdir(saveDir_ann)
fp=open(fileDir_ann + '\\' + file)
saveDir_ann=saveDir_ann + file
fp_w=open(saveDir_ann, 'w')
classes=['aeroplane', 'bicycle', 'bird', 'boat', 'bottle', 'bus', 'car', '>cat<', 'chair', 'cow',
'diningtable', \
'dog', 'horse', 'motorbike', 'pottedplant', 'sheep', 'sofa', 'train', 'tvmonitor', 'person']
lines=fp.readlines()
ind_start=[]
ind_end=[]
lines_id_start=lines[:]
lines_id_end=lines[:]
while "\t<object>\n" in lines_id_start:
a=lines_id_start.index("\t<object>\n")
ind_start.append(a)
lines_id_start[a]="delete"
while "\t</object>\n" in lines_id_end:
b=lines_id_end.index("\t</object>\n")
ind_end.append(b)
lines_id_end[b]="delete"
i=0
for k in range(0, len(ind_start)):
for j in range(0, len(classes)):
if classes[j] in lines[ind_start[i] + 1]:
a=ind_start[i]
names['block%d' % k]=[lines[a], lines[a + 1], \
lines[a + 2], lines[a + 3], lines[a + 4], \
lines[a + 5], lines[a + 6], lines[a + 7], \
lines[a + 8], lines[a + 9], lines[a + 10], \
lines[ind_end[i]]]
break
i +=1
classes1='\t\t<name>person</name>\n'
string_start=lines[0:ind_start[0]]
string_end=[lines[len(lines) - 1]]
a=0
for k in range(0, len(ind_start)):
if classes1 in names['block%d' % k]:
a +=1
string_start +=names['block%d' % k]
string_start +=string_end
for c in range(0, len(string_start)):
fp_w.write(string_start[c])
fp_w.close()
if a==0:
os.remove(saveDir_ann)
else:
name_img=fileDir_img + os.path.splitext(file)[0] + ".jpg"
shutil.copy(name_img, saveDir_img)
fp.close()
修改YOLOv3 tiny 配置文件
下载预训练权重开始训练
预训练权重可以减少前期的迭代次数,加速训练过程。通过绘制训练过程的loss曲线可知,开始时loss下降较快,之后开始在一水平线上波动。训练结束得到yolov3-voc_final.weights模型文件。
模型效果:
但是模型要想部署在算力微弱的树莓派上,还需要进行两次模型转化才能运行在NCS上进行前向推理。
模型转化:
第一次转化:(.weight–>.pb)
这里的模型转化OpenVINO给出了官方指南https://docs.openvinotoolkit.org/latest/_docs_MO_DG_prepare_model_convert_model_tf_specific_Convert_YOLO_From_Tensorflow.html 但是可能会出现错误。
python3 convert_weights_pb.py \
--class_names yolov3-tiny-mine.names \
--weights_file weights/yolov3-tiny-mine_40000.weights \
--data_format NHWC \
--tiny \
--output_graph pbmodels/frozen_yolov3-tiny-mine.pb执行完上述代码,就能得到Tensorflow支持的模型文件。
第二次转化:(.pb–>.IR)
第二次的模型转化我在windows环境下完成的。
python "C:\Program Files (x86)\IntelSWTools\openvino_2019.1.087\deployment_tools\model_optimize1. 下载烧写工具Pi Imager
打开树莓派官方网站https://www.raspberrypi.org/software/,根据下图指示下载Pi Imager并安装
2.在线烧写
① 将配套SD卡放入读卡器插入到电脑的USB口;
② 打开烧录软件Pi Imager,在“operating system”选择“Raspberry Pi OS(32-bit)”(第一项);
③ 在"SD Card"选择SD卡,然后点击“write”,然后等待烧写完成。
3. 离线烧写
① 下载raspberry系统镜像
打开树莓派官方网站https://www.raspberrypi.org/software/,点击按钮“See all download options”
② 在“Raspberry Pi OS with desktop and recommended
software”项点击“Download”,等待下载完成。
③ 烧录系统:
在Pi Imager中“Operating System”选择最后一项“use Custom”,在弹出对话框中选择刚刚下载的镜像。后续步骤同在线烧录。
4. 启动树莓派,验证系统
① 将SD卡插到树莓派SD卡插槽,如下图;
② 打开供电开关,给系统供电,指示灯点亮并闪烁,电压表实时显示电池电压(当电压低于6.8V以下,应及时给小车供电);
③ 二十多秒后,系统启动完成。正常启动完成后,红灯亮,绿灯闪烁。
模型部署:
使用github PINTO0309的OpenVINO-YoloV3工程,应该是个日本的工程师写的,特别感谢。
利用工程下的openvino_tiny-yolov3_MultiStick_test.py进行测试,在文件中指定我们转化好的模型文件。
运行效果
image
尽管速度不快,但最快也能达到7-8帧的样子。
本文将训练好的原始模型经过两次转化得到了可以被NCS所支持的模型文件,并搭建好树莓派所需的运行环境,最终将模型部署在树莓派上并完成了测试。下篇文章将介绍,树莓派小车的控制程序以及微信报警程序的实现。
嵌入式物联网的学习之路非常漫长,不少人因为学习路线不对或者学习内容不够专业而错失高薪offer。不过别担心,我为大家整理了一份150多G的学习资源,基本上涵盖了嵌入式物联网学习的所有内容。点击下方链接,0元领取学习资源,让你的学习之路更加顺畅!记得点赞、关注、收藏、转发哦!
点击这里找小助理0元领取:扫码进群领资料
过《赛车总动员》的朋友应该不会忘了其中的主角——闪电麦昆, 一个手工打造的赛车,可谓是家喻户晓,而我今天想介绍给大家的麦昆确是另外一个麦昆——DFRobot 麦昆编程小车,是一款很适合创客老爸、码农老爸带孩子一起玩的益智玩具。
DFRobot 麦昆编程小车采用了纸箱加装饰纸套的包装形式,装饰纸套表面印有麦昆变成小车图案和其重要功能图示。主板是作为附件单独包装的,另外还有那张熟悉的“什么值得买”的众测须知。
小车分成了底盘模块、电池盒、白色轮毂、黑色轮胎和超声波探测模块等组件分别独立包装的,以及一张合格证,没有见到说明书或操作手册。
micro: bit主板是麦昆小车的大脑,是一款由英国广播电视公司(BBC)推出的专为青少年编程教育设计的微型电脑开发板,搭载了蓝牙,加速度计,电子罗盘,三个按钮和5 x 5 LED点阵等模块。右上角三个零件分别是Micro数据通讯口(用于下载程序)、复位开关(重启按键)和3V电池接口(只能是3V,接上普通3.7V锂电池必烧)。如果想进一步了解请移步观看详细的视频介绍https://v.qq.com/x/page/w0745j76lk1.html?start=94
另一面中心是5×5的LED灯矩阵,可以显示一些表情图标,数字和英文字符串。两边是两个可编程按键:A键和B键,积木块编程也是很简单,一般就是触发按下A键、按下B键或者同时按下A+B键。
底盘是一块较大的线路板,正面头部中心的黑色零件是红外信号接收器,两边是两颗红色LED灯,中心黑色条形插槽是用来插micro: bit主板的,其前方是超声波模块插口,其后部白色小插座是电池盒接口,左右还各有一个拓展插槽用来连接其他外接功能模块。板子中心右侧还有一个蜂鸣器,后部两个白色方块是预装好的两个N20金属减速电机(最大转速133转/分,电机减速比:1:150),尾部IO金属触片(所谓的金手指)是可编程控制的IO口,从左到右分别是P0、P1和P2,尾部中心是电源开关。
底盘背面头部是一个纺锤形尼龙材料的前轮,前轮后部是两组红外探测器,用来检测行驶线路,不偏离行驶轨迹。四角布有四颗RGB彩色氛围灯(白色小方块),黑暗环境闪起来应该很炫酷,底盘中心印有DFRobot的logo 标识。
超声波探测模块有一个线路板和两个超声波发生和接收器组成,可插入底盘前部对应插槽中,通过发出和接收超声波来感知行进前方的障碍物。
其他零部件还有白色轮毂、黑色轮胎、电池盒和双面胶等小附件,小车采用了3节7号普通电池供电。
小车组装比较简单,只需安装说明书提示,装上车轮——插入电池盒电源插头——黏贴电池盒——插上micro:bit主板——插入上超声波探测模块,几乎也就几十秒不到一分钟的时间就可以组装完成了。
DFRobot 麦昆编程小车外观独特,尤其是仿佛两只大眼睛的超声波探头看起十分抢眼,活脱脱一个科技小怪兽的形象,虽说外形有点怪,但却是萌萌的挺招人喜欢。外形尺寸仅为85*81*44mm,不足成人半个手掌大小。不含电池重量仅为75.55g左右,即使是加上电池也不过115g,很轻巧。
小车没有外壳装饰,所有部件如线路板、探测器、开关二极管何电池等电器元件,均毫无掩饰暴露在外,通过下面几张图可以看到各部分细节。
打开尾部的电源开关,前方的的两只大灯和底盘以及主板上面的相关闪光部件就会点亮或闪烁起来了。虽说这是一款遥控+编程遥控玩具车,但是因为随机没有配遥控器和控制手柄(需另购),暂时我们还无法直接上手开玩,必须要通过编程输入命令后,它才可以执行动作。麦昆编程小车支持微软makecode和Scratch两大最主流的图形化编程平台,二者功能相似各有千秋。
因为二者都带有图形模块化编程,对于没有接触过编程的初学者来说,只需要参考网上的教程进行一两个小时的学习,就可以进行基础的编程了,比较简单。但是如果要想完成复杂的程序,就需要进一步深入学习了,你可以无限发挥你的想象力去设计更加复杂的程序。当然你也可以偷懒去下载网友们分享的现成的程序呢!
DFRobot官网(http://wiki.dfrobot.com.cn/index.php?title=(SKU:ROB0148)_micro:Maqueen(V2.0)%E6%9C%BA%E5%99%A8%E4%BA%BA%E5%B0%8F%E8%BD%A6)提供了极为详细的介绍和编程指导。初学者可以先自行学习编写相关程序后,再与官网的标准程序进行对比,以发现自己的编程问题,有利于尽快提高编程水平 。
在PC端编制完成的小程序可以通过数据线直接下载导入到micro: bit主板内,当然还可以另行搜索下载“micro:bit”手机App编程后通过蓝牙传输到主板,不过目前只有IOS版的app可以稳定运行,安卓版的app针对部分手机还不够稳定。
你可以编制小程序,让DFRobot 麦昆编程小车按照你的指令进行超声波避障、巡线行驶、RGB彩色呼吸氛围灯闪烁、LED车灯闪烁、光控行驶和读取超声波距离值等动作,甚至还可编制简单的乐曲,通过蜂鸣器播放,十分有趣,十分适合初学编程的青少年学习使用。
为了测试其性能,我还制作了更为复杂的八字形和凹字形线路,测试基本正常,只是在八字形线路上行驶到交叉点是会随机行驶到左边或右边的环线。另外在避障测试中,在长时间行驶时,偶尔会发生斜侧撞击障碍的情况,感觉超声波检测似乎还不够灵敏。
当然,对于进阶高手要想进行更多更复杂的创意玩法,发挥自己的想象,可以结合更多的外挂功能模块来编制更为复杂的程序去实现更高难度的动作,比如环境监测或自动行走机器人等,DFRobot官网商城提供了超多的功能模块可供选择购买。
优点:
不足:
总之,DFRobot 麦昆编程小车是基于micro: bit主板开发的一款入门级编程小车,模块化组装,简单方便,功能较为丰富,可拓展性强,借助主流的图形化编程平台,寓教于乐,适合作为青少年编程启蒙教育的益智机器人玩具。
*请认真填写需求信息,我们会在24小时内与您取得联系。