#headposition | Explore Tumblr posts and blogs

epsiloncreco-blog · 8 years ago

Text

Technisch Babbeltje

Eerst zijn we bezig gegaan met een algemeen beeld krijgen van motion tracking. Dit deden we eerst aan de hand van Open Kinect for Processing. Met deze libraby en haar plugins konden we lichaamsdelen tracken met de Kinect. Daarna linkten wij deze code met een if statement en de minim library waardoor bij een bepaalde x waarde waarop een mens zich bevond, een mp3 file werd afgespeeld. De volgende code ontstond:

/* -------------------------------------------------------------- Created by: Leonardo Merza Edited by: Ronald van Essen Version: 1.2 ----------------------------------------------------------------*/ import ddf.minim.spi.*; import ddf.minim.signals.*; import ddf.minim.*; import ddf.minim.analysis.*; import ddf.minim.ugens.*; import ddf.minim.effects.*;

Minim minim; AudioPlayer song; AudioPlayer song1; AudioPlayer song2; AudioPlayer song3;

import SimpleOpenNI.*; SimpleOpenNI kinect;// create kinect object PImage kinectDepth;// image storage from kinect PImage kinectRGB;// image storage from kinect int[] userID;// int of each user being tracked color[] userColor = new color[]{ color(255,0,0), color(0,255,0), color(0,0,255),color(255,255,0), color(255,0,255), color(0,255,255)}; PVector headPosition = new PVector(); PVector rechterHandPosition = new PVector(); PVector linkerHandPosition = new PVector(); PVector rechterVoetPosition = new PVector(); PVector linkerVoetPosition = new PVector(); float distanceScalar;// turn headPosition into scalar form float headSize = 200;// diameter of head drawn in pixels float confidenceLevel = 0.5;// threshold of level of confidence float confidence;// the current confidence level that the kinect is tracking PVector confidenceVector = new PVector();// vector of tracked head for confidence checking float hoofdX,hoofdY,hoofdZ,rechterHandX,rechterHandY,linkerHandX,linkerHandY,rechterVoetX, rechterVoetY, linkerVoetX, linkerVoetY; //int schermBreedte = 640;int schermHoogte = 480; int schermBreedte = 1024;int schermHoogte = 768; void setup(){ //size(640,480); //moet overeenkomen met schermHoogte en schermBreedte size(1024,768); minim = new Minim(this); song = minim.loadFile("/Data/Frankrijk.mp3"); song1 = minim.loadFile("/Data/Zwitserland.mp3"); song2 = minim.loadFile("/Data/Belgie.mp3"); song3= minim.loadFile("/Data/Duitsland.mp3"); kinect = new SimpleOpenNI(this);// start a new kinect object kinect.setMirror(true);//camera spiegelen kinect.enableDepth();// enable depth sensor kinect.enableUser();// enable skeleton generation for all joints kinect.enableRGB(); // rgb camera aanzetten strokeWeight(3);// draw thickness of drawer smooth();// smooth out drawing }

void draw(){ background(255); kinect.update();// update the camera kinectDepth = kinect.depthImage();// get Kinect data

//kinectRGB = kinect.rgbImage();// rgb camera beeld ophalen //image(kinectRGB, 0, 0, 1024, 768);// rgb camera beeld tonen

userID = kinect.getUsers(); // get all user IDs of tracked users // loop through each user to see if tracking for(int i=0;i<userID.length;i++){ if(kinect.isTrackingSkeleton(userID[i])){ confidence = kinect.getJointPositionSkeleton(userID[i],SimpleOpenNI.SKEL_HEAD,confidenceVector); if(confidence > confidenceLevel){ stroke(userColor[(i)]);fill(userColor[(i)]);drawSkeleton(userID[i]);

if(hoofdX>500 && !song2.isPlaying()) song2.play(); song.rewind();

if(rechterHandY>600 && !song.isPlaying()) song.rewind(); song.play();

if(linkerHandX>200 && !song3.isPlaying()) song3.rewind(); song3.play(); }

/*--------- hier tussen jullie code ---------------------------*/

ellipse(hoofdX, hoofdY,25,25); ellipse(rechterHandX, rechterHandY, 25,25); ellipse(linkerHandX, linkerHandY, 25,25); ellipse(rechterVoetX, rechterVoetY, 25,25); ellipse(linkerVoetX, linkerVoetY, 25,25);

textSize(40); //z-positie linksboven in beeld text("Z-positie:" + hoofdX, 50,50); //voorbeeld x en y-coordinaat boven hoofd) text("X="+int(hoofdZ)+",Y="+ int(hoofdY), hoofdX-140,hoofdY-30);

/*--------- hier tussen jullie code ---------------------------*/

} } }

// void draw()

/*--------------------------------------------------------------- Draw the skeleton of a tracked user. Input is userID ----------------------------------------------------------------*/ void drawSkeleton(int userId){ strokeWeight(3); // get 3D position of head kinect.getJointPositionSkeleton(userId, SimpleOpenNI.SKEL_HEAD,headPosition); // convert real world point to projective space kinect.convertRealWorldToProjective(headPosition,headPosition); // create a distance scalar related to the depth in z dimension distanceScalar = (525/headPosition.z); // draw the circle at the position of the head with the head size scaled by the distance scalar //ellipse(headPosition.x,headPosition.y, distanceScalar*headSize,distanceScalar*headSize);

hoofdX = map(headPosition.x,0, 640, 0, schermBreedte); hoofdY = map(headPosition.y,0, 480, 0, schermHoogte); hoofdZ = headPosition.z;

kinect.getJointPositionSkeleton(userId,SimpleOpenNI.SKEL_RIGHT_HAND,rechterHandPosition); kinect.convertRealWorldToProjective(rechterHandPosition,rechterHandPosition);

rechterHandX = map(rechterHandPosition.x,0, 640, 0, schermBreedte); rechterHandY = map(rechterHandPosition.y,0, 480, 0, schermHoogte); //z-position zou je hier ook kunnen opvragen

kinect.getJointPositionSkeleton(userId,SimpleOpenNI.SKEL_LEFT_HAND,linkerHandPosition); kinect.convertRealWorldToProjective(linkerHandPosition,linkerHandPosition);

linkerHandX = map(linkerHandPosition.x,0, 640, 0, schermBreedte); linkerHandY = map(linkerHandPosition.y,0, 480, 0, schermHoogte); //z-position zou je hier ook kunnen opvragen

kinect.getJointPositionSkeleton(userId,SimpleOpenNI.SKEL_RIGHT_FOOT,rechterVoetPosition); kinect.convertRealWorldToProjective(rechterVoetPosition,rechterVoetPosition);

rechterVoetX = map(rechterVoetPosition.x,0, 640, 0, schermBreedte); rechterVoetY = map(rechterVoetPosition.y,0, 480, 0, schermHoogte); //z-position zou je hier ook kunnen opvragen

kinect.getJointPositionSkeleton(userId,SimpleOpenNI.SKEL_LEFT_FOOT,linkerVoetPosition); kinect.convertRealWorldToProjective(linkerVoetPosition,linkerVoetPosition);

linkerVoetX = map(linkerVoetPosition.x,0, 640, 0, schermBreedte); linkerVoetY = map(linkerVoetPosition.y,0, 480, 0, schermHoogte); //z-position zou je hier ook kunnen opvragen

/* //draw limb from head to neck kinect.drawLimb(userId, SimpleOpenNI.SKEL_HEAD, SimpleOpenNI.SKEL_NECK); //draw limb from neck to left shoulder kinect.drawLimb(userId, SimpleOpenNI.SKEL_NECK, SimpleOpenNI.SKEL_LEFT_SHOULDER); //draw limb from left shoulde to left elbow kinect.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_SHOULDER, SimpleOpenNI.SKEL_LEFT_ELBOW); //draw limb from left elbow to left hand kinect.drawLimb(userId, SimpleOpenNI.SKEL_LEFT_ELBOW, SimpleOpenNI.SKEL_LEFT_HAND); //draw limb from neck to right shoulder kinect.drawLimb(userId, SimpleOpenNI.SKEL_NECK, SimpleOpenNI.SKEL_RIGHT_SHOULDER); //draw limb from right shoulder to right elbow kinect.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_SHOULDER, SimpleOpenNI.SKEL_RIGHT_ELBOW); //draw limb from right elbow to right hand kinect.drawLimb(userId, SimpleOpenNI.SKEL_RIGHT_ELBOW, SimpleOpenNI.SKEL_RIGHT_HAND); //draw limb from left shoulder to torso

kinect

Wat deze code voor ons niet ideaal maakte was dat hij voorgekauwd was om alleen mensen te herkennen en wij wilden dat hij ook bepaalde objecten zou gaan herkennen. Daarnaast wilden wij niet met mp3tjes werken maar met een zelf bepaalde toon hoogte. We bedachten dat onze doelgroep misschien niet goed gekozen was met kinderen en gingen coderen voor een romantisch diner setting. Hierbij wilden wij een kaarsje op de tafel die wanneer deze werd verschoven een bepaalde toon aangaf creëren. Wij gingen ons dus focussen op een code die licht registreerde en gelijk een waarde op de x en y as berekende voor het lichtste punt. Daaraan linkten wij een toon uit de SynchronizeSound Library. Deze toon was erg mechanisch en klonk niet fijn. We besloten dus om een toonladder te gaan gebruiken. De uiteindelijke code werd:

import gab.opencv.*; import processing.video.*;

import ddf.minim.spi.*; import ddf.minim.signals.*; import ddf.minim.*; import ddf.minim.analysis.*; import ddf.minim.ugens.*; import ddf.minim.effects.*;

Minim minim; AudioPlayer song; AudioPlayer song1; AudioPlayer song2; AudioPlayer song3;

Capture video; OpenCV opencv;

AudioOutput out; Oscil wave; Midi2Hz midi;

void setup(){ size(640, 480); video = new Capture(this, 640/2, 480/2); opencv = new OpenCV(this, 640/2, 480/2); video.start();

//oscilatorshite minim = new Minim(this); out = minim.getLineOut(); wave = new Oscil( 300, 0.6f, Waves.TRIANGLE ); midi = new Midi2Hz( 50 );

midi.patch( wave.frequency ); wave.patch( out ); minim = new Minim(this); song = minim.loadFile("Data/BD.wav"); song1 = minim.loadFile("Data/CHH.wav"); song2 = minim.loadFile("Data/SD.wav"); song3 = minim.loadFile ("Data/Bass-Drum-1.wav"); }

void draw() { scale(2); opencv.loadImage(video);

image(video, 0, 0 ); PVector loc = opencv.max();

stroke(255, 0, 0); strokeWeight(4); noFill(); ellipse(loc.x, loc.y, 10, 10);

if ( loc.x <25 ) midi.setMidiNoteIn( 50 ); if ( loc.x >25) midi.setMidiNoteIn( 52 ); if ( loc.x > 50) midi.setMidiNoteIn( 54 ); if ( loc.x > 75) midi.setMidiNoteIn( 55 ); if ( loc.x > 100 ) midi.setMidiNoteIn( 57 ); if ( loc.x > 125 ) midi.setMidiNoteIn( 59 ); if ( loc.x > 150 ) midi.setMidiNoteIn( 61 ); if ( loc.x > 175 ) midi.setMidiNoteIn( 62 ); if ( loc.x > 200 ) midi.setMidiNoteIn( 64 ); if ( loc.x > 225 ) midi.setMidiNoteIn( 66 ); if ( loc.x > 250) midi.setMidiNoteIn( 67 ); }

void captureEvent(Capture c) { c.read(); }

void keyPressed() { if (keyCode == DOWN && !song.isPlaying()) { song.rewind(); song.play(); } if (keyCode == UP && !song2.isPlaying()) { song2.rewind(); song2.play( ); }if (keyCode == LEFT && !song1.isPlaying()) { song1.rewind(); song1.play( ); }if (keyCode == RIGHT && !song3.isPlaying()) { song3.rewind(); song3.play( ); } } Dit was ook de code die we zijn gaan integreren voor ons eindproduct. Het combineert een sensor die de lichtste pixel registreert en daar een toon aan koppelt met een drumsetje voor de makey makey. Dit zorgt ervoor dat je een interactieve muzikale tafel hebt waarop geen date meer eindigt in ongemakkelijk op je telefoon zitten

Het volgen van het lichtje met het geluid erbij bestaan uit 2 bestaande codes samen met een rij aan if statements, de eerste code vind en trackt de meest lichte pixel in beeld en de tweede code creeerd een oscillator die in verschillende toonhoogtes kan worden gezet.

#hackerman

0 notes