Hokejovo bol vychovaný vo finskom klube [[Oulun Kärpät|Kärpät Oulun]]. Tam chytal v mládežnickom tíme v rokoch [[2000]] - [[2003]]. Vo víťazných rokoch [[2004]] a [[2005]] už chytal v Kärpäte na poste dvojky za [[Niklas Bäckström|Niklasom Bäckströmom]]. V roku [[NHL Draft (2004)|2004]] bol draftovaní [[Nashville Predators|Nashvillom Predators]] na 258. mieste. [[23. augusta]] [[2005]] podpísal z Nashvillom nováčikovskú zmluvu, a stal sa tretím brankárom tímu, hrajúcihrajúc vo farmérskomfarmárskom klube [[Milwaukee Admirals]] v [[AHL]]. V prvej sezóne v spojených štátoch chytal hlavne v Milwaukee Admirals, ale odohral aj dva zápasy v Nashvile. Počas leta [[2006]] bol Rinne napadnutí neznámimy páchateľmi a počas boja si zranil rameno. Zranenie bolo tak vážne, že musel ísť na operáciu. Kôli operácii vynechal 4 mesiace novej sezóny. V prvej sezóne v spojených štátoch chytal hlavne v Milwaukee Admirals, ale odohral aj dva zápasy v Nashvile. V sezóne [[NHL 2008/09|2008/09]] bol po odchode [[Chris Mason|Chrisa Masona]] do [[St. Louis Blues]] povolaný z farmy, aby bol náhradník pre [[Dan Ellis|Dana Ellisa]]. Ale počas sezóny sa stal jednotkou. Vo februári [[2009]] zaznamenal v dvanástych zápasoch 9 víťaztiev zo štatistikami 94,4% chytených striel a 1,72 inkasovaných gólov za zápas. Počas tejto sezóny vychytal sedem čistých kont, čo bol druhý najväčší počet v celej lige. Podľa viacerých odborníkov mal byť nominovaný na [[Calder Memorial Trophy]] pre najlepšieho nováčika sezóny, ale nestalo sa. Za svoje výkony v [[NHL]]-ke bol povolaný do [[Fínske národné hokejové mužstvo|fínskeho národného tímu]] na majstrovstvá sveta [[Majstrovstvá sveta v ľadovom hokeji 2009|2009]] do Švajčiarska. A hneď v prvom zápase proti [[Nórske národné hokejové mužstvo|Nórsku]] vychytal čisté konto. Počas celého turnaja odchytal šesť zápasov, okrem jedného.
