#linearfunctions

[ozachou]

Artificial Existence

[nehaarticles]

[csny]

hi

swagappeal

rottingwounds

waifstiel

friendflintstone

unadulteratedangelchild

tracylawrence

16mmshrine

satisfactory-dreams

hostjane

ravasla

g0r3-my-beloved

corpoalmaespirito

linearfunct

astr0nomydomine

annoyinginfluencerdetective

faygo-monster

willemdafoeism

fjay22

geektwerp

hauntedprobably

monolithmp3

matchmeetgasoline

britomart

kitschke

paristonnie

tangerineswitharedpomegranate

andysummersmusic

gruntledbananafish

mostlycrazyandinsane

centralpark1981

freshwatercatfishjpegimage

rufusrant

andyism

beginningrecently22

coraline-bones

imstuckintime

micedcoffee

greggturkington

autotono

local-rt

ineverdidanythingwrong

chandajaan

astrifera

juiceisfunwater

charlie-fisher

drabglam

ladybird2003

moonteases

mortensharket

shadowscollided

jjthepotentialfurry

s4lemw1tchtr1als

invocateuse

perfectkpopblackstoriesmoney

doolindalton

texanprairiechicken

pupkln

morrissey-is-an-incel

the-youngcinephile

whoresvidal

carbonzeroxide

smalldyke

harrisonsbiscuit

fishingforfranks

your-local-rockstar-simp

mariannewilliamsongroupie

niftynihilist

istudyartandhatemaths

growingoldinwesttexas

annikatze

inlineforanumber

geneandrenee2005

gritandoporpaz

graphic-crush

greyissocool

greyisthebest

adam-milligan-deserved-better

toomanydemonsinmyhead

mypussytasteslikechocolatemilk

the-loner-soul9216

supermitch39us

lzzatlove

ajaajka

eleventh-earl

godims0tired

senso1954

connor-pyt

youawakenedbitchinme

deadlycombination

thousandsad35

grand-ennui

thewindthatmovesthecloudsaway

1snotboy

meagirl31

moons-ghost21

stordlord

ex-evapilot

thomastaurus

uyllr

aamuvalo

pasteldemon888

yesandforalways

final-girl-cas

21st-century-blues

hallison67

hadasiris

hinenihineni

galactic-quackollision

7oclocknewssilentnight

passingthur

slothbabysworld

pkruby1234

cosmicgeorge

rastronomicals

an-an-ya

goldamsterdam

austinpowersfancam

racinginthestreet

bigbadnyer

litttlegreen

enderbrinekirby

opulentrage

mercuried

faulmccartney

timehascomeagain

amazingbraddoisnotonfire

sixties-dreamer

iblamemyselfz

banksian

stevie-baby

pinkpatiencecreepers

nodevolucion

romeoandromeo

generalkenhoebi

highway51

rocksandtreesandphysicalculture

brianwilsonofficial

ganishkhapassion

gashas-blog

kvykm

woolriding42

updog27

heyt444ya

r786---7

thepoorlywritten

geo-bby

tantamount-treason

mrsholmes-cumberbatch

amarillorecords

gooniegirl503

sexybotstaff

strawberryfields4now

yangsyang

katiehub

nancy-chaos-aquarius

narutouzamk

misery-and-hell

zosostarr

w3lchi-blog1

cowboy-girlfriend

liliumspinis

fae-of-andromeda

mithranqueer

joustingjonesy

comeonpilgrim1987

mainsaved45

tsarsalad

chasing-s-u-n-s-e-t-s

gnomeem

pros-and-cons-of-hitch-hiking

achlls

jumbledmeat

suckingchestwound

yeah

cumulose

mary14980

badkneemcgee

oldfriendsoldfriends

daisy22ma

chicamerol

jimmytwotimesss

xofairycum

larrydavidbyrne

garlic-but-gay

caronahill

martybalin

sues-world

ferrnandaomg

unsaltedtwinki

talkingheadsfan

kingratmax

aquariumsoap

to-love-you-is-worse

scary-ivy

lonecrow42

vixenstarlets

naokamiya

noahsturquoisepumpkin

her-own-sunshine-factory

siggy-boy

tulips777

jonesyjonesyjonesy

raptorcat1960

ziyro

phoebeestardustt

1234567890asdfghjkq

christineandpopculture

someonestolemycat

911callmeaxxcl

maddiemain

hotdogwater6

thelovelylinda

goonowl

juliebarnes

hunkyziggy

tallcat

tombstone-blues

xjapan

postsentiment

wellwhiskey2

friarspark

steerpiked

illiteratio

invasion

elcaminodelsanto

candysroom

doublism

wrongcowboy

hootenanie

frogs4johndenver

bugmold

late-july

oneroseleftinmyheart

lui1964

the-lovecore-spoonful

biscuits-rolls

b3llisperennis

b3llisperennis

youcanlearnfrombooks

bulbofgarlic

skinbluesx

turnleftaticela

electrofolk

skatecatz

alexiadawn

davidcrosbyprisoncore

mysticmeditationspiritualityhero

punisherpoetries

gene-ious

dreamelies

bleep09

hippietrash

conilmusician

levbian

eugeneshaircut

p-i-p-i-p-s

earthyboy

Virgo-Boy

lesbianjonimitchell

palinmichael

cutie-nesmito

moonwitch89

skfnalgbaonglwnf

kittytime

trains57

sydneymaigon

stephensponcho

sweetrev

howthepotatoboils

columbo-fever

firstclassshipping

mindtrailstoyou

dazzaroop

iloovethebeatles

binal82-blog

nature-documentary

flim

ladoobies

sleepysirenshambles

sammy--lou--who

bilbao-song

calicoskiesacoustic

ninetiesonfilm

nikcage

lunarselkie55

ofmdgender

trakiul

recuerdosdeunanoche

maurice-and-music

sunflower-sproutt

lankyledlights

kullotz

princessmccartney

hickorywind

peonybubbles

rustvisioneil

mikesinlw

phantomthread2017dirbypta

sleeepyjean

tlnsoldier

expecting-to-fly

ziegfeldghirl

lobstersinmyhouse

shakespeareanwaffles

hillmouse

fabulous-cookware252

1982charliemercouri

rogermcguinnsglasses

rockgroupieblogger

ardorardor

crosbysrightnipple

groovybitch

baycitystygian

psychedelic-heart

grapenehis

youngshakespeare

mysterytra1n

stephenmalkmusofficial

maudgone

secret-made-of-secret-sauce

charlie-vigorous-repost

mystuffedromance

reynier

there-will-be-an-answer-letitbe

alvinalligator

helensepigamics

xxmurderdollxx

grahamcoxondyke

jcrepe

semolinatheteenagewitch

ohello

foggypuppygalaxy

captainsoul

cptnbeefheart

paulresley

toadchavay

stelsewhere

dae666mon

blksugimoto

nuclearsodaa

gonzogender

twatsonnnnn

notreadyforprimetimez

sarwah

phant0mbat

ragdclly

coolstreetbubba

aspaceoddityapproaches

thrak1995

funkypretty

montereypop

csny1974

palaging-sumasaiyo

shyocean

70sdolenz

mothmanghost

curly-italian

charlies-main

stephenstils

calientasopa

greatcomets

arzye

times-up-alone-tonight

music-lego

poni-poki

flamingoslim

thechonkyfrog

nezmith

endlesslyunamusing

why-worry-brother

amnesiac-blog

upilx

luornu

spacemansauce

dolenz

curfulix

vintagedecades

mayplantstarrwaters

jellogram

mikaelrickfors

garfballed

310eeeeee

kramer

afterthegoldrushes

uchifufu

incurablechemist

tylhagler2806

leslieguevarasblog

slcpunk1998

blemon22

spoonagedaydream

bifichen

lucky35428

littlehorrorshop

yukxta

pissyzombie

southcarolinagoddess

challahbread

thedevils

elicash

elliottgouldofficial

bettyhofstadtdraper

thespamman24

pigeonmilkin

cosmic-fellow

allthingsmustpass1970

boppinbobby

grundygal

tarachanscom

combefferre

shockyhorror

drabacus

jerrylandis

verydazedveryconfused

dreamsincelluloid

nnicolelynneeeee

cliffburton

leanderqueenie

kartuve

tinyhole

gwenweybourne

defeatdarrencriss

discogoth-cowgirl

by-thunder

sacredtheoryofearth

vintagevinyl2004

methodactorjeremystrong

solongfranklloydwright

illusion2me

linkstar365

monkmoondelight

thlostsheep

4waystreet

hotdustyroads

loversdeck

3trout

infiniterideronthebigdogma

nationallampoonslemmings

thewhobynumbers

piblybibly

fieldofpain

riuchiu

oreither

richardavedon

kerleyfries

hannibitchin

koushiki-das

jimmythebyrd

redneckangelsdrinkmoonshine

jensensgayaunt

oshawolt

kingon33

cellophanesoundz

ashayam

electraheart2012

macgob

d-avld

campyhorror

rockyhamster

ouijaboardsstuff

raindogs

acepalikaciprut

cary-elwes

m6trot

gazinazrul-707

xcallitcasualsabotagex

mkitaka

angrylittleempanada

botchedbabe

thekendraproject

thatoneconfusedbisexual

disembodiedorb

zemdeggs

maehkon

fritzllang

bugwords

80sfinalgrl

bobbaandbrains

daiseyday1

awaterplz

luna-baby-girl

tausendaeugigerabgott

toadbar

cinema-ghoul

lazyastronomytechnologypie

infinite-light

ioononloso

mous-tiel

blooddries

pixelpunked

sammwinchestersdimples

thecartwrighttwins

netbathetic

elliehope123

plumcomplex

ashtraygorl

steelydans

ourmoonlightrevels

gaymessiah-mp3

kimsedenkimeneblr

oddityofstars

popgirlcas

momofdbb-blog

berryballoons

mysticfrullato

stevepotterwrites

majortomwaits

max-peck

ignite-my-circuits

hurtfriend

zaat

shortmonsterstories

paranoiac1963

jawbreakeropticaldiscdrive

frombeyond

sam-rothstein

crocodilenotes

davidbyrnebigsuit

ahmed-abd-elaziz

king-trash-cryptid

penworthy

unlikelysportsprunecookie

meggiry-starkgaryen

theglimmmertwins

muslim-flint

therip

sospiratiabbandoni

romanroys

siginajmu

extraterrestrialhotdog

shefallsinlove

spottersplace

bicolumbo

purplepersoncroissantmonger

lotzen

columbosunday

thesoundofsilence1964

noselikeringo

f-x-real

heartunbreaker

sunshineofyourlove1967

leonardcohenofficial

danoriddler

crowley1990

spreadtheflowers

clowncrush

aristocats1970-archive

buildings-and-food

axelnordmann

carygrantsbeard

spaceradars

harveylembecks

vio-lnt

otterfire

badlaw

silverview

milcarpetas

game-killer

beefonethousand

wormtoasty

purrfectly

cr1pt

privatelife

strangerwinden

grozdana-grozdic

intensitysl-blog

vaparone-blog

thewolfofelectricavenue

tiddies2

julieroot4

cerulean-blue

marenarasauce

speedywobblercophorse

365daysofsnark

robitomalo

666markofthebeast-blog

hellstarjae

summersunsimming

faceturn

jayteather

millenniumringg

patrickbategirl

dmcofficial

d-bryisthebest

blogstudionirvanaslposts-blog

jojospital-blog

mangogoes

derpsmgee-blog

rubinsandwich13

gami-sama

stained-neophyte

azraelings

imafreebitch--baby

artemisrivers-blog

samuelms

rhetia

sxiestfrogalive

simsinner710-bit-blog

hiraimomoblogger

italyobsessions

billionaretoday678

risperdol-moved

i-am-tired-duh

akaris-stuff

fakerslblog-blog

sandopede

unequal

52px

shklovsky

kaijuchoche

night-dark-woods

patriciabravitz

divaschampion

masterzo

westerberg

missmizerablerollins

tope-con-hewwo

ketchuper

balladofsnow

officialbroski10-blog

the-nerevar-guar

summerhermes

painmade

cathasachy

mandeloreans

cinnabunsprincess

oawithyou2

mcdonaldshappymeme

mossii

methdrip

mandrewsjr

nicos-chlorine

theoldjessisdead

isingidanceidothings

coltcabanakofiendlover

bastardnev

probulletclub-blog

gatorlandia-blog

wasteland-survivor

starlord-sapphic

dontpressatocontinue

therumbleramble

akrajewski

reigenfanclub

claveuniverse-blog

synonymsforstupidity

lowasmoved

trans-mistamoving

jubaleelovehate

underthescreen

thesquishyrogue

cactuscrunked

redstarmarks-blog

ein-trigger

inspector-io-blog

ask-woosle

naariel

adoringstudies

phychobisharp

campoononthepontoon

governorverabennett

oogachaka

miami2k17

wesandersonart-blog

twentyonespektors-blog

pinkrose787

playing-with-fireworks

cakemother

retroredpanda

dannydevitos-blog

nsynonymo-blog

danskmemes-blog

jazzberry247

evergreenbutch

attheendofaugust

adoringcatfishmoved

smiling-vagabond

ssundiall-moved

officepranksworld-blog

jimmypageonline

retrocentric

piactonnu

scottagainstworld

sarahconnormullet

freddy-newandorks

pensandiink-blog-blog

dpdnepeta-moved-blog

railsoverpails

xxwonderfully-strangexx-blog

get-in-the-fucking-bag-nebby

cosmicqueenn-blog

teen-nick

gonnagobackto505

ahs-twd-himym

goddamn-it-blush

natangbick

riot-grrrl-manifesto

thegayspaceantichrist

death-despair-and-dinosaurs

whiskey-regret

allthatfunstuff128

diamondofspades

retailavenger85

ginko-sama

thespacebarisntworking

captain-sherlock-mcdoctor-pants

redlighten

tomatoredferraries

hetaliakitty1000

[mathculus]

Types of Polynomial Function and Absolute Value Function 📊👉 Learn at: https://mathculus.com/ 👆👆👆👆👆 (Link given in bio) #calculustutorial #calculusteacher #calculuslover #calculus101 #calculustutors #calculus #calculusnotes #calculusproblems #calculusclass #calculusmemes #calculus3 #calculus2 #calculus4 #calculus1 #polynomialfunction #polynomial #polynomials #function7 #motivation💪 #funmath #funmaths #mathfunny #linearfunctions #quadraticfunctions #cubicfunctions #quarticfunction #quinticfunction #usa🇺🇸 #india #physics (at India) https://www.instagram.com/p/CE8-QuRhsEz/?igshid=s7gx0y6i3cus

[idein-inc]

ニューラルネットワークの演算量を計測する

Idein エンジニアの打田です。

今回はパフォーマンスカウンタを利用してニューラルネットワークの演算量を計測してみたので方法を共有したいと思います。

昨今は大規模なネットワークを学習するために GPU クラスタが利用されはじめていたり、推論についても GPU やディープニューラルネットワーク用のプロセッサなどの開発であったりと、ニューラルネットワークの演算負荷を効率よく処理するニーズは高まっています。

さてしかし、ニューラルネットワークの演算負荷というのはどのくらいのものなのでしょうか、あるプロセッサが利用できるときにどのニューラルネットワークがどれくらいで実行できるのか、あるいは、ある学習済みニューラルネットワークがあるときにどのプロセッサならどのくらいの時間で実行できるのか、プロセッサの性能とモデルの規模の関係に、おおよそのあたりがつけられるとニューラルネットワークの演算負荷というものについて体感できるようになってうれしい気がします。

FLOPS (FLoating point number Operations Per Seconds) はプロセッサの重要な性能指標ですし、演算負荷を評価するのに浮動小数点演算回数というのはよい指標でしょう(ニューラルネットワークに限ったことでありませんが)。

演算回数を評価する方法としては、各レイヤーの演算、入力サイズ、出力サイズの定義から想定される演算回数を見積っていく方法がまず思いつくかと思います。 実際 Netscope CNN Analyzer の MACCs (Multiply-ACCumulations) 計算や apaszke/torch-opCounter、tf.profiler.ProfileOptionBuilder.float_operation などはそのような方法で演算回数を評価しています。

今回は上記のような方法とは別の、ハードウェアに備わるパフォーマンスカウンタを利用して演算回数を計測する方法を紹介します。

この方法は実際の実行結果に基づく評価なので、利用するハードウェア、ソフトウェアの実装、アルゴリズム等の影響を強く受けるという面はありますが、利用しているディープラーニングフレームワークに関係なく計測できる、内部のネットワーク構成を考えることなく動く実行ファイルさえあれば計測できる、実際の計測結果が得られるため見積りの見落しがないかの確認にも利用できる、といった利点があります。

今回は chainer に含まれている ImageNet 用のネットワークの演算回数をいくつか評価してみようと思います。

計測に利用したコードは https://github.com/Idein/dnn-flop-count に置いてあります。

まずは CPU での計測方法から紹介します。

perf: Linux profiling with performance counters でとるのが割と手軽です。 ただ CPU によって使えるカウンタが違うという点には注意が必要です。例えば Intel Haswell 世代の CPU ではそもそもこの目的で利用できるカウンタがありません Counting Floating Point Operations on Intel Haswell - PAPITopics:SandyFlops - PAPIDocs

Skylake/Kabylake であれば単精度浮動小数点演算命��の数は以下のイベントで取得できるので、今回はたまたま社内にあった Skylake 世代の CPU を利用して測定しました。

FP_ARITH:SCALAR_SINGLE

umask: 0x02

event: 0xc7

FP_ARITH:128B_PACKED_SINGLE

umask: 0x08

event: 0xc7

FP_ARITH:256B_PACKED_SINGLE

umask: 0x20

code: 0xc7

FP_ARITH:512B_PACKED_SINGLE

umask: 0x80

code: 0xc7

イベントの code と umask は Intel® 64 and IA-32 Architectures Developer's Manual: Vol. 3B から確認できます(お手持ちの CPU でよさそうなカウンタがないか眺めてみるのもいいですね)。

GoogLeNet の 推論の場合どうなるか確認してみ���しょう。 (今回は predict なので推論の見積りですが訓練の見積りをしたい場合は損失関数の呼出しをした後に backward するまでのコードで評価すればいいでしょう。)

$ perf stat -e r02c7,r08c7,r20c7,r80c7 python3 eval_imagenet.py googlenet Performance counter stats for 'python3 eval_imagenet.py googlenet': 85770094 r02c7 47396811 r08c7 372309776 r20c7 0 r80c7 1.598643946 seconds time elapsed

PACK 分を考慮すると FP_ARITH:128B_PACKED_SINGLE は4演算相当 FP_ARITH:256B_PACKED_SINGLE は8演算 FP_ARITH:512B_PACKED_SINGLE は16演算相当ですから perf の -x オプションと awk で集計してみましょう。

$ perf stat -e r02c7,r08c7,r20c7,r80c7 -x, python3 eval_imagenet.py googlenet 2>&1 | awk -F, '/r02c7/ {sum+=$1} /r08c7/ {sum+=4*$1} /r20c7/ {sum+=8*$1} /r80c7/ {sum+=16*$1} END {print sum}' 3254293004

1回の推論で3G超、30億回以上の演算ですね。この演算数を捌くにはやはりハイパワーなプロセッサが必要ですね、そう Raspberry Pi に載っている GPU Video Core IV のような。

perf を使うと実行ファイルさえあれば計測できて便利ですが、ネットワーク内のレイヤー毎の演算回数や各関数毎の演算回数が得られると演算のボトルネックなどもわかって便利ですね。

perfmon2 の libpfm4 には Python binding があるため、これを Python から呼び出して使うと値の取得が楽になります。

chainer を使う場合 chainer.FunctionHook で chainer.Function の呼出しを hook できるので、それを利用しましょう。 https://github.com/Idein/dnn-flop-count/blob/master/perf_counter.py にある CounterHook を使うことで以下のようなコードで実行時の各関数の演算回数を把握できます。

with chainer.using_config('train', False): with chainer.using_config('enable_backprop', False): with CounterHook() as counter: model.predict(image, oversample=False) for fn, float_ops in counter.call_history: print('"{}","{}"'.format(fn, float_ops))

実行例

$ python eval_imagenet.py --count-by functions googlenet "Convolution2DFunction","30507008" "ReLU","0" "MaxPooling2D","0" "LocalResponseNormalization","18919576" ...snip... "Convolution2DFunction","1315552" "Concat","0" "ReLU","0" "AveragePooling2D","51200" "Reshape","0" "LinearFunction","258750" "Softmax","5995"

レイヤー単位で数える場合はレイヤーに hook する機能はないため、少し行儀の悪い方法にはなりますが、レイヤー毎に回数を調べることもできます。 このあたりは chainer の computational_graph 機能と組み合わせるともっと格好いい使い方ができるかもしれ��せん。

NVIDIA GPU で計測したい場合には nvprof が perf のように利用できます。

9. Metrics Reference - Profiler :: CUDA Toolkit Documentation を見ると flop_count_sp がまさに単精度浮動小数点演算回数を求めるのに利用できます(FMA 演算が2命令分でカウントされていますが、CPU での計測も FMA を2命令分でカウントしているため今回の目的には合致します)。

そのままだと CUDA kernel 毎に、呼び出し回数(3列目)と平均(8列目)が出力されるので nvprof で csv 出力させつつ gawk で平均と呼出し回数を合算します。

$ nvprof --csv --metrics flop_count_sp python3 eval_imagenet.py resnet50 --gpu=0 2>&1 | gawk -v 'FPAT=([^,]+)|(\"[^"]+\")' '{sum+=$3*$8} END {print sum}' 2994793235

nvprof 便利ですね。

nvprof で取得できる情報は CUPTI (CUDA Performance Tools Interface) の API で取得可能できるようなので、うまくラッパーを書けばレイヤーや関数毎の演算回数を出力することもできそうです。

ニューラルネットワークの訓練で発生する熱が気になる季節になってきましたが、熱の原因であるところの演算量に思いを馳せてみるのもいいかもしれません。

[enzoexposyto]

Equations for the Family

[linearworld]

Nuts and Bolts

The distance a bolt protrudes past the edge of a nut is a linear function of the number of revolutions through which the bolt is turned.

The slope is the distance covered per revolution (in cm per turn).

The y-intercept is the opposite of the "length" of the nut.

The x-intercept is the number of turns required to make the bolt just flush with the other end of the nut.

Suppose the nut is 1 cm long and the bolt travels .4 cm per turn.

[mathculus]

Types of Polynomial Function 📊👉 Learn at: mathculus.com/types-of-functions/ #calculustutorial #calculusteacher #calculuslover #calculus101 #calculustutors #calculus #calculusnotes #calculusproblems #calculusclass #calculusmemes #calculus3 #calculus2 #calculus4 #calculus1 #polynomialfunction #polynomial #polynomials #function7 #motivation💪 #funmath #funmaths #mathfunny #linearfunctions #quadraticfunctions #cubicfunctions #quarticfunction #quinticfunction #usa🇺🇸 #india (at India) https://www.instagram.com/p/CEbmY3bh0gV/?igshid=q6vfk6n53xkl

[enzoexposyto]

Equations for the Family

[linearworld]

Snowblower Business

The profit you make after buying a snowblower and paying for a business license is a linear function of the number of jobs you get. The slope is the average amount you charge per job. The y-intercept is the starting profit deficit from the buying the blower and the license. The x-intercept is the number of jobs to break even. Suppose the blower and license are $750 and you charge $45 per job.

[linearworld]

Sharpening Pencils

The change in the length of a pencil being sharpened is a linear function of and the number of revolutions the shaving mechanism has undergone.

The slope is the length of pencil shredded away per crank. The y-intercept is the pencil's original length,

The original length could be about 18 cm, shredding away at .1 cm per crank.

[linearworld]

Gas and Cigarettes

Someone pulls into a gas station to buy a carton of cigarettes and to fill his tank. The price paid is a linear function of the number of gallons he buys. The slope is the price of a gallon of gas. The y-intercept is the cost of the carton of cigarettes.

A carton of cigarettes could be $48, and a gallon of gas could be $3.26 or so.