Hokejovo bol vychovaný vo finskom klube [[Oulun Kärpät|Kärpät Oulun]]. Tam chytal v mládežnickom tíme v rokoch [[2000]]-[[2003]]. Vo víťazných rokoch [[2004]] a [[2005]] už chytal v Kärpäte na poste dvojky za [[Niklas Bäckström|Niklasom Bäckströmom]]. V roku [[NHL Draft (2004)|2004]] bol draftovaní [[Nashville Predators|Nashvillom Predators]] na 258. mieste. [[23. augusta]] [[2005]] podpísal z Nashvillom nováčikovskú zmluvu, a stal sa tretím brankárom tímu, hrajúc vo farmárskom klube [[Milwaukee Admirals]] v [[AHL]]. V prvej sezóne v spojených štátoch chytal hlavne v Milwaukee Admirals, ale odohral aj dva zápasy v Nashvile. Počas leta [[2006]] bol Rinne napadnutí neznámimy páchateľmi a počas boja si zranil rameno. Zranenie bolo tak vážne, že musel ísť na operáciu. Kôli operácii vynechal 4 mesiace novej sezóny. V sezóne [[NHL 2008/09|2008/09]] bol po odchode [[Chris Mason|Chrisa Masona]] do [[St. Louis Blues]] povolaný z farmy, aby bol náhradník pre [[Dan Ellis|Dana Ellisa]]. Ale počas sezóny sa stal jednotkou. Vo februári [[2009]] zaznamenal v dvanástych zápasoch 9 víťaztiev zo štatistikami 94,4% chytených striel a 1,72 inkasovaných gólov za zápas.<ref>{{cite web|url=http://www.nhl.com/ice/news.htm?id=411982|title=Rinne nováčikom NHL mesiaca február|publisher=NHL.com |date=19. marec 2009}}</ref>Počas tejto sezóny vychytal sedem čistých kont, čo bol druhý najväčší počet v celej lige. Podľa viacerých odborníkov mal byť nominovaný na [[Calder Memorial Trophy]] pre najlepšieho nováčika sezóny, ale nestalo sa. Za svoje výkony v [[NHL]]-ke bol povolaný do [[Fínske národné hokejové mužstvo|fínskeho národného tímu]] na majstrovstvá sveta [[Majstrovstvá sveta v ľadovom hokeji 2009|2009]] do Švajčiarska. A hneď v prvom zápase proti [[Nórske národné hokejové mužstvo|Nórsku]] vychytal čisté konto, keď zneškodnil 30 striel súpera. Počas celého turnaja odchytal šesť zápasov, okrem jedného. Od [[12. november|12.]] do [[25. november|25. novembra]] [[2009]] vyhral sedem zápasov v rade a vyrovnal tak rekord klubu, ktorý drží [[Tomáš Vokoun]]. Počas týchto siedmych zápasoch dostal len 13 gólov z 184 striel.
Prvý krát postúpil s Nashvillom do play-off v sezóne [[NHL 2009/10|2009-10]]. V prvom kole sa stretol s [[Chicago Blackhawks|Chicagom]]. Po dobrom úvode v sérii nezvládli hráči záver a prehrali 4-2 na zápasy. Ale v zápasoch ich veľakrát podržal dobrými zákrokmi.
