1樓：一拳超人83
看你什麼要求，首先stm32小球識別是沒問題的基於簡單的影象處理opencv那些，可操作的距離有限不超過二三十厘公尺吧，也夠嗆，視野內不能有其他球形干擾，光照不能有圓形的反光點之類的。比較受限。最好用深度學習目標檢測以上的限制就不是什麼問題了，比如resnet101為特徵提取器的faster-RCNN，大量訓練好後，在各種環境下識別準確率和人眼一樣，甚至超過人眼，如何你可以用stm32控制機械臂。
識別的實時性與你硬體有關係，沒有tensorRT，cuda的加速識別老慢了。
2樓：十萬個為什麼
牛頓定律難不難？看起來不難，但是沒有牛頓定律我們自己可以想到嗎？可能不行。
現在很多科技的大發展源於開源的普及，如果忽視或者沒有用到這些開源的，而從新發明輪子，每個東西都從新做，其實和重新發現一遍牛頓定律沒本質區別。參考開源的東西，自己重複一遍，學會他的本質，觸類旁通，這可能是在開源時代最好的方案。
機械臂識別小球並抓取，這個問題和amazon picking challenge 內容是類似的，可以搜下，很多開源的方案。
3樓：J5207
正好在做類似的東西。如果桌面高度一定的話，第一步先進行標定。如果使用的webcam的話在桌面尋找9個點記錄下小球中心的畫素座標，移動末端控制器到9個點，記錄eelink相對於baselink的平移值。
計算兩座標係下的矩陣變換。再把攝像頭從rgb轉換到hsv空間做inrange過濾一下，找到輪廓算出中心座標值，也就知道相對機械人空間中的二維座標值。最後固定一下抓取高度，就可以了。
4樓：難乙
識別顏色算位置簡單：
取個像設個閾值，乙個blob工具就抓到影象畫素位置了 。
抓取動作看幾軸的機械臂，跟相機安裝位置。
以可以建工件座標系的機械手，把相機裝在機械手上為例。
一：以機械手的夾抓中心作為原點建立工件座標係二：在小球放置平面，相機取像記錄下標定時相機位置。
三：影象中取九點，測得影象中九點畫素座標。
四：將機械手夾抓中心運動到這九點得到工件座標系下九點實際座標。
五：畫素九點位置，對應實際座標九點位置做九點標定。求得得到該小球放置平面下的畫素座標到實際座標的變換矩陣。
六：實際去抓的時候，實際相機拍照位置減去標定時候相機位置，把實際取像面模擬到標定取像面，用標定取像面的變換矩陣來求實際取向麵裡畫素座標與實際座標的對應
七：影象處理取得畫素座標
八：算實際座標，讓機械手工件座標系的原點運動到所求的實際座標四軸機械手沒有工具座標系的話需要多做個旋轉標定，平面的對應完再加上要去抓的時候以機械手法藍盤為中心機械手夾抓旋轉造成的旋轉偏移量。
5樓：
樓頂的大神說的特別好了。
如果識別小球形狀的話，可能需要輪廓演算法了。如果是抓取特定顏色的目標的話，最近準備做乙個這種裝置去參加比賽。目前在弄顏色識別，微控制器處理攝像頭的話我只用過7725用的stm32，識別特定顏色受外部影響很大，網上有相應的開源演算法，對攝像頭採集的顏色資訊標定和過去座標都可以實現。
如果是電腦處理影象的話，就不懂了。
6樓：周劍
不難也難。
如果機器手和感測器都有，就組裝一下，寫下程式不難。
但如果要自己組裝機器手，自己做感測器。甚至你連做機器手的材料都沒有，還要自己去礦山挖礦，挖出來再打鐵，再鑄造那就難了。
再補乙個，曾經有位著名鐵匠，每天從凌晨4點就開始打鐵了。
7樓：曹開元
小球我覺的還好，畢竟截面是個圓形
如果小球是平鋪著放著，上面加個相機
提取輪廓，提取顏色，提取圓心座標
把座標發給和顏色資訊傳送給機械臂
機械臂去抓就好了
抓完後還可以判斷一下是否抓取成功
涉及到：視覺（openCV），夾具（吸盤），機械臂程式設計（工業四軸或者六軸），通訊（串列埠或者Ethernet）等工具
如果安裝乙隻機械臂，大腦到機械臂的頻寬和延遲要求要多高才能運動自如像正常人一樣？
I老蔡 A類神經 有髓鞘的軀體神經纖維 傳導速度39 90公尺 秒 B類神經 有髓鞘的植物神經纖維 傳導速度5 15公尺 秒 C類神經 無髓鞘神經纖維 傳導速度0.6 2公尺 秒。這是人體控制訊號的傳遞速度,電訊號完勝對吧?然後就是肌肉相應速度,這個看功率了,機械的功率密度遠超肌肉,所以事實上機械臂...
什麼是機械臂的backdrivability
Tianers 我的理解，backdriveability，正如其定義一樣，指反向驅動能力。正常情況下，由於機械臂關節採用電機 諧波減速器或者電機 行星減速器的驅動方式，關節剛度非常大，當電機上電時，無法通過人力輕鬆轉動減速器輸出端 能拉動飛機的大力士除外 此時關節是不具備backdriveabil...
怎麼實現機械臂末端的隨動？
已登出 近年來，隨著機械人行業的發展，安防巡檢類機械人在大型廠房 車間 變電站等各個領域興起，巡檢機械人系統的出現，節省大量的人力 物力和財力，尤其對於高危場所的巡檢，巡檢機械人成為最佳方案。目前，巡檢機械人系統已經能夠識別各類儀表 防火預警等工作。除此之外，巡檢機械人搭載機械臂之後，便能夠對現場進...